Pianificare un trasferimento Snowflake

Il connettore Snowflake fornito da BigQuery Data Transfer Service consente di pianificare e gestire i job di trasferimento automatico per eseguire la migrazione dei dati da Snowflake a BigQuery utilizzando gli elenchi consentiti di IP pubblici.

Panoramica

Il connettore Snowflake impiega agenti di migrazione in Google Kubernetes Engine e attiva un'operazione di caricamento da Snowflake a un'area temporanea all'interno dello stesso provider cloud in cui è ospitato Snowflake. Per gli account Snowflake ospitati su AWS, i dati vengono prima preparati nel bucket Amazon S3, che viene poi trasferito a BigQuery con BigQuery Data Transfer Service.

Il seguente diagramma mostra come i dati vengono trasferiti da un data warehouse Snowflake ospitato su AWS a BigQuery.

Limitazioni

I trasferimenti di dati effettuati utilizzando il connettore Snowflake sono soggetti alle seguenti limitazioni:

• I trasferimenti di dati sono supportati solo dagli account Snowflake ospitati su AWS. I trasferimenti di dati dagli account Snowflake ospitati su Google Cloud o Microsoft Azure non sono supportati.
• Il connettore Snowflake non supporta i trasferimenti di dati incrementali.
• Il connettore Snowflake supporta solo i trasferimenti dalle tabelle all'interno di un singolo database e schema Snowflake. Per eseguire il trasferimento da tabelle con più database o schemi Snowflake, puoi configurare ogni job di trasferimento separatamente.
• La velocità di caricamento dei dati da Snowflake al bucket Amazon S3 è limitata dal warehouse Snowflake che hai scelto per questo trasferimento.

• I dati vengono estratti da Snowflake nel formato Parquet prima di essere caricati in BigQuery:

  • I seguenti tipi di dati Parquet non sono supportati:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Per ulteriori informazioni, consulta Valutare i dati di Snowflake.

  • Il seguente tipo di dati Parquet non è supportato, ma può essere convertito:

    • TIMESTAMP_NTZ

    Utilizza il file YAML di configurazione della conversione del tipo globale per ignorare il comportamento predefinito della conversione DATETIME in TIMESTAMP quando generi i metadati ed esegui il motore di traduzione.

    Il file YAML di configurazione potrebbe avere un aspetto simile al seguente esempio:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Prima di iniziare

Prima di configurare un trasferimento Snowflake, devi eseguire tutti i passaggi elencati in questa sezione. Di seguito è riportato un elenco di tutti i passaggi obbligatori.

1. Preparare il progetto Google Cloud
2. Ruoli BigQuery richiesti
3. Prepara il bucket Amazon S3
4. Crea un utente Snowflake con le autorizzazioni richieste
5. Aggiungere policy di rete
6. Generare metadati ed eseguire il motore di traduzione
7. Valuta Snowflake per verificare la presenza di tipi di dati non supportati
8. Raccogliere informazioni sul trasferimento

Prepara il progetto Google Cloud

Crea e configura il progetto Google Cloud per un trasferimento Snowflake con i seguenti passaggi:

1. Crea un Google Cloud progetto o selezionane uno esistente.

2. Verifica di aver completato tutte le azioni necessarie per attivare BigQuery Data Transfer Service.

3. Crea un set di dati BigQuery per archiviare i tuoi dati. Non devi creare tabelle.

Ruoli BigQuery richiesti

Per ottenere le autorizzazioni necessarie per creare un trasferimento, chiedi all'amministratore di concederti il ruolo IAM BigQuery Admin (roles/bigquery.admin). Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Prepara il bucket Amazon S3

Per completare un trasferimento di dati Snowflake, devi creare un bucket Amazon S3 e configurarlo per consentire l'accesso in scrittura da Snowflake.

1. Crea un bucket Amazon S3. Il bucket Amazon S3 viene utilizzato per preparare i dati prima che vengano caricati in BigQuery.

2. Crea e configura un oggetto di integrazione dell'archiviazione Snowflake per consentire a Snowflake di scrivere dati nel bucket Amazon S3 come stage esterno.

Per consentire l'accesso in lettura al tuo bucket Amazon S3, devi anche:

1. Crea un utente Amazon IAM dedicato e concedigli il criterio AmazonS3ReadOnlyAccess.

2. Crea una coppia di chiavi di accesso Amazon per l'utente IAM.

Crea un utente Snowflake con le autorizzazioni richieste

Durante un trasferimento Snowflake, il connettore Snowflake si connette al tuo account Snowflake utilizzando una connessione JDBC. Devi creare un nuovo utente Snowflake con un ruolo personalizzato che disponga solo dei privilegi necessari per eseguire il trasferimento dei dati:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Sostituisci quanto segue:

• MIGRATION_ROLE: il nome del ruolo personalizzato che stai creando
• WAREHOUSE_NAME: il nome del tuo data warehouse
• DATABASE_NAME: il nome del tuo database Snowflake
• SCHEMA_NAME: il nome dello schema Snowflake
• TABLE_NAME: il nome di Snowflake incluso in questo trasferimento di dati
• STORAGE_INTEGRATION_OBJECT_NAME: il nome dell'oggetto di integrazione dell'archiviazione Snowflake.

Aggiungere criteri di rete

Per la connettività pubblica, l'account Snowflake consente la connessione pubblica con le credenziali del database per impostazione predefinita. Tuttavia, potresti aver configurato regole o criteri di rete che potrebbero impedire al connettore Snowflake di connettersi al tuo account. In questo caso, devi aggiungere gli indirizzi IP necessari alla tua lista consentita.

La tabella seguente è un elenco di indirizzi IP per le località regionali e multiregionali utilizzate per i trasferimenti pubblici. Puoi aggiungere gli indirizzi IP che corrispondono solo alla posizione del tuo set di dati oppure puoi aggiungere tutti gli indirizzi IP elencati nella tabella. Si tratta di indirizzi IP riservati da Google per i trasferimenti di dati di BigQuery Data Transfer Service.

Per aggiungere un indirizzo IP a una lista consentita:

1. Crea una regola di rete con type = IPV4. BigQuery Data Transfer Service utilizza una connessione JDBC per connettersi all'account Snowflake.
2. Crea una policy di rete con la regola di rete che hai creato in precedenza e l'indirizzo IP della tabella seguente.

Località regionali

Località multiregionali

¹ I dati che si trovano nella multiregione EU non sono archiviati nei data center europe-west2 (Londra) o europe-west6 (Zurigo).

Genera metadati ed esegui il motore di traduzione

Il connettore BigQuery Data Transfer Service per Snowflake utilizza il motore di traduzione di BigQuery Migration Service per la mappatura dello schema durante la migrazione delle tabelle Snowflake in BigQuery. Per completare un trasferimento di dati Snowflake, devi prima generare i metadati per la traduzione, quindi eseguire il motore di traduzione:

1. Esegui dwh-migration-tool per Snowflake. Per ulteriori informazioni, consulta Generare metadati per la traduzione e la valutazione.
2. Carica il file metadata.zip generato in un bucket Cloud Storage. Il file metadata.zip viene utilizzato come input per il motore di traduzione.

3. Esegui il servizio di traduzione batch, specificando il campo target_types come metadata. Per saperne di più, vedi Tradurre query SQL con l'API Translation.

   • Di seguito è riportato un esempio di comando per eseguire una traduzione batch per Snowflake:

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • Puoi controllare lo stato di questo comando nella pagina di traduzione SQL in BigQuery. L'output del job di traduzione batch viene archiviato in gs://translation_target_base_uri/metadata/config/.

Autorizzazioni account di servizio richieste

In un trasferimento Snowflake, un account di servizio viene utilizzato per leggere i dati dall'output del motore di traduzione nel percorso Cloud Storage specificato. Devi concedere al account di servizio le autorizzazioni storage.objects.get e storage.objects.list.

Se l'account di servizio proviene da un progetto diverso da quello che ha creato il trasferimento dati BigQuery, devi anche attivare l'autorizzazione dell'account di servizio tra progetti. Google Cloud

Per saperne di più, consulta Ruoli e autorizzazioni IAM di BigQuery.

Valutare i dati di Snowflake

BigQuery scrive i dati da Snowflake a Cloud Storage come file Parquet. I file Parquet non supportano i tipi di dati TIMESTAMP_TZ e TIMESTAMP_LTZ. Se i tuoi dati contengono questi tipi, puoi esportarli in Amazon S3 come file CSV e poi importare i file CSV in BigQuery. Per saperne di più, consulta Panoramica dei trasferimenti da Amazon S3.

Raccogliere informazioni sul trasferimento

Raccogli le informazioni necessarie per configurare la migrazione con BigQuery Data Transfer Service:

• L'identificatore dell'account Snowflake, ovvero il prefisso nell'URL dell'account Snowflake. Ad esempio, ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• Il nome utente e la password di un utente con le autorizzazioni appropriate per il tuo database Snowflake. Può avere solo le autorizzazioni necessarie per eseguire il trasferimento dei dati.
• L'URI del bucket Amazon S3 che vuoi utilizzare per il trasferimento e la coppia di chiavi di accesso utente AWS. Ti consigliamo di configurare un criterio del ciclo di vita per questo bucket per evitare addebiti non necessari.
• L'URI del bucket Cloud Storage in cui hai archiviato i file di mappatura dello schema ottenuti dal motore di traduzione.

Configura un trasferimento da Snowflake

Seleziona una delle seguenti opzioni:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Quote e limiti

BigQuery ha una quota di caricamento di 15 TB per ogni job di caricamento per ogni tabella. Internamente, Snowflake comprime i dati della tabella, quindi la dimensione della tabella esportata è maggiore di quella riportata da Snowflake. Se prevedi di eseguire la migrazione di una tabella più grande di 15 TB, contatta dts-migration-preview-support@google.com.

A causa del modello di coerenza di Amazon S3, è possibile che alcuni file non vengano inclusi nel trasferimento a BigQuery.

Prezzi

Per informazioni sui prezzi di BigQuery Data Transfer Service, consulta la pagina Prezzi.

• Se il warehouse Snowflake e il bucket Amazon S3 si trovano in regioni diverse, Snowflake applica addebiti per l'uscita quando esegui un trasferimento di dati Snowflake. Non sono previsti costi di uscita per i trasferimenti di dati Snowflake se sia il warehouse Snowflake sia il bucket Amazon S3 si trovano nella stessa regione.
• Quando i dati vengono trasferiti da AWS a Google Cloud, vengono applicati costi di uscita inter-cloud.

Passaggi successivi

• Scopri di più su BigQuery Data Transfer Service.
• Esegui la migrazione del codice SQL con la traduzione SQL batch.