Caricare i dati Amazon S3 in BigQuery

Console

1. Vai alla pagina Trasferimenti di dati nella console Google Cloud .

   Vai a Trasferimenti dati

2. Fai clic su add Crea trasferimento.

3. Nella pagina Crea trasferimento:

   • Nella sezione Tipo di origine, per Origine, scegli Amazon S3.

     

   • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

     

   • Nella sezione Opzioni di pianificazione:

     • Seleziona una Frequenza di ripetizione. Se selezioni Ore, Giorni, Settimane o Mesi, devi anche specificare una frequenza. Puoi anche selezionare Personalizzata per creare una frequenza di ripetizione più specifica. Se selezioni On demand, questo trasferimento di dati viene eseguito solo quando attivi manualmente il trasferimento.

     • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

   • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

     

   • Nella sezione Dettagli origine dati:

     • Per Tabella di destinazione, inserisci il nome della tabella che hai creato per archiviare i dati in BigQuery. I nomi delle tabelle di destinazione supportano i parametri.
     • In URI Amazon S3, inserisci l'URI con il formato s3://mybucket/myfolder/.... Gli URI supportano anche i parametri.
     • In ID chiave di accesso, inserisci il tuo ID chiave di accesso.
     • In Chiave di accesso segreta, inserisci la tua chiave di accesso segreta.
     • Per Formato file, scegli il formato dei dati (JSON delimitato da nuova riga, CSV, Avro, Parquet o ORC).
     • Per Istruzione di scrittura, scegli una delle seguenti opzioni:
       • WRITE_APPEND per aggiungere in modo incrementale i nuovi dati alla tabella di destinazione esistente. WRITE_APPEND è il valore predefinito per Preferenza di scrittura.
       • WRITE_TRUNCATE per sovrascrivere i dati nella tabella di destinazione durante ogni esecuzione del trasferimento di dati.

     Per maggiori informazioni su come BigQuery Data Transfer Service importa i dati utilizzando WRITE_APPEND o WRITE_TRUNCATE, consulta Importazione dati per i trasferimenti Amazon S3. Per maggiori informazioni sul campo writeDisposition, vedi JobConfigurationLoad.

     

   • Nella sezione Opzioni di trasferimento - tutti i formati:

     • Per Numero di errori consentiti, inserisci un valore intero per il numero massimo di record non validi che possono essere ignorati.
     • (Facoltativo) In Tipi di target decimali, inserisci un elenco separato da virgole dei possibili tipi di dati SQL in cui potrebbero essere convertiti i valori decimali di origine. Il tipo di dati SQL selezionato per la conversione dipende dalle seguenti condizioni:
       • Il tipo di dati selezionato per la conversione sarà il primo nel seguente elenco che supporta la precisione e la scalabilità dei dati di origine, nel seguente ordine: NUMERIC, BIGNUMERIC, e STRING.
       • Se nessuno dei tipi di dati elencati supporterà la precisione e la scalabilità, viene selezionato il tipo di dati che supporta l'intervallo più ampio nell'elenco specificato. Se un valore supera l'intervallo supportato durante la lettura dei dati di origine, verrà generato un errore.
       • Il tipo di dati STRING supporta tutti i valori di precisione e scalabilità.
       • Se questo campo viene lasciato vuoto, il tipo di dato predefinito sarà "NUMERIC,STRING" per ORC e "NUMERIC" per gli altri formati file.
       • Questo campo non può contenere tipi di dati duplicati.
       • L'ordine dei tipi di dati elencati in questo campo viene ignorato.

     

   • Se hai scelto CSV o JSON come formato file, nella sezione JSON, CSV, seleziona Ignora valori sconosciuti per accettare le righe contenenti valori che non corrispondono allo schema. I valori sconosciuti vengono ignorati. Per i file CSV, questa opzione ignora i valori extra alla fine di una riga.

     

   • Se hai scelto CSV come formato file, nella sezione CSV inserisci eventuali opzioni CSV aggiuntive per il caricamento dei dati.

     

   • Nel menu Service account, seleziona un service account tra quelli associati al tuo progettoGoogle Cloud . Puoi associare un service account al trasferimento di dati anziché utilizzare le tue credenziali utente. Per maggiori informazioni sull'utilizzo dei service account con i trasferimenti di dati, vedi Utilizzare i service account.

     • Se hai eseguito l'accesso con un'identità federata, è necessario un service account per creare un trasferimento di dati. Se hai eseguito l'accesso con un Account Google, il service account per il trasferimento dei dati è facoltativo.
     • Il service account deve disporre delle autorizzazioni richieste.

   • (Facoltativo) Nella sezione Opzioni di notifica:

     • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
     • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento per crearne uno. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento di dati.

4. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento: --transfer_config.

bq mk \
--transfer_config \
--project_id=project_id \
--data_source=data_source \
--display_name=name \
--target_dataset=dataset \
--service_account_name=service_account \
--params='parameters'

Dove:

• project_id: (Facoltativo). L'ID del tuo progetto Google Cloud . Se non viene fornito --project_id per specificare un progetto particolare, viene utilizzato il progetto predefinito.
• data_source: obbligatorio. L'origine dati: amazon_s3.
• display_name: obbligatorio. Il nome visualizzato della configurazione del trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
• dataset: obbligatorio. Il set di dati di destinazione per la configurazione del trasferimento dei dati.
• service_account: il nome del account di servizio utilizzato per autenticare il trasferimento dei dati. Il account di servizio deve essere di proprietà dello stesso project_id utilizzato per creare il trasferimento di dati e deve disporre di tutte le autorizzazioni richieste.

• parameters: obbligatorio. I parametri per la configurazione del trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Di seguito sono riportati i parametri per un trasferimento Amazon S3:

  • destination_table_name_template: obbligatorio. Il nome della tabella di destinazione.

  • data_path: obbligatorio. L'URI Amazon S3, nel seguente formato:

    s3://mybucket/myfolder/...

    Gli URI supportano anche i parametri.

  • access_key_id: obbligatorio. Il tuo ID chiave di accesso.

  • secret_access_key: obbligatorio. La tua chiave di accesso segreta.

  • file_format: (Facoltativo). Indica il tipo di file che vuoi trasferire: CSV, JSON, AVRO, PARQUET o ORC. Il valore predefinito è CSV.

  • write_disposition: (Facoltativo). WRITE_APPEND trasferirà solo i file modificati dall'ultima esecuzione riuscita. WRITE_TRUNCATE trasferirà tutti i file corrispondenti, inclusi quelli trasferiti in un'esecuzione precedente. Il valore predefinito è WRITE_APPEND.

  • max_bad_records: (Facoltativo). Il numero di record errati consentiti. Il valore predefinito è 0.

  • decimal_target_types: (Facoltativo). Un elenco separato da virgole dei possibili tipi di dati SQL in cui potrebbero essere convertiti i valori decimali di origine. Se questo campo non viene fornito, il tipo di dato predefinito sarà "NUMERIC,STRING" per ORC e "NUMERIC" per gli altri formati file.

  • ignore_unknown_values: (facoltativo) viene ignorato se file_format non è JSON o CSV. Se ignorare i valori sconosciuti nei dati.

  • field_delimiter: facoltativo e valido solo quando file_format è CSV. Il carattere che separa i campi. Il valore predefinito è una virgola.

  • skip_leading_rows: facoltativo e valido solo quando file_format è CSV. Indica il numero di righe di intestazione che non vuoi importare. Il valore predefinito è 0.

  • allow_quoted_newlines: facoltativo e valido solo quando file_format è CSV. Indica se consentire i caratteri di fine riga all'interno dei campi tra virgolette.

  • allow_jagged_rows: facoltativo e valido solo quando file_format è CSV. Indica se accettare le righe che non hanno le colonne finali facoltative. I valori mancanti verranno compilati con valori NULL.

Ad esempio, il seguente comando crea un trasferimento di dati Amazon S3 denominato My Transfer utilizzando un valore data_path di s3://mybucket/myfile/*.csv, il set di dati di destinazione mydataset e file_format CSV. Questo esempio include valori non predefiniti per i parametri facoltativi associati a CSV file_format.

Il trasferimento dei dati viene creato nel progetto predefinito:

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"data_path":"s3://mybucket/myfile/*.csv",
"destination_table_name_template":"MyTable",
"file_format":"CSV",
"write_disposition":"WRITE_APPEND",
"max_bad_records":"1",
"ignore_unknown_values":"true",
"field_delimiter":"|",
"skip_leading_rows":"1",
"allow_quoted_newlines":"true",
"allow_jagged_rows":"false"}' \
--data_source=amazon_s3

Dopo aver eseguito il comando, ricevi un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create amazon s3 transfer config.
public class CreateAmazonS3Transfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableId = "MY_TABLE_ID";
    // Amazon S3 Bucket Uri with read role permission
    String sourceUri = "s3://your-bucket-name/*";
    String awsAccessKeyId = "MY_AWS_ACCESS_KEY_ID";
    String awsSecretAccessId = "AWS_SECRET_ACCESS_ID";
    String sourceFormat = "CSV";
    String fieldDelimiter = ",";
    String skipLeadingRows = "1";
    Map<String, Value> params = new HashMap<>();
    params.put(
        "destination_table_name_template", Value.newBuilder().setStringValue(tableId).build());
    params.put("data_path", Value.newBuilder().setStringValue(sourceUri).build());
    params.put("access_key_id", Value.newBuilder().setStringValue(awsAccessKeyId).build());
    params.put("secret_access_key", Value.newBuilder().setStringValue(awsSecretAccessId).build());
    params.put("source_format", Value.newBuilder().setStringValue(sourceFormat).build());
    params.put("field_delimiter", Value.newBuilder().setStringValue(fieldDelimiter).build());
    params.put("skip_leading_rows", Value.newBuilder().setStringValue(skipLeadingRows).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Aws S3 Config Name")
            .setDataSourceId("amazon_s3")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    createAmazonS3Transfer(projectId, transferConfig);
  }

  public static void createAmazonS3Transfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Amazon s3 transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Amazon s3 transfer was not created." + ex.toString());
    }
  }
}