Snowflake-Übertragung planen

Mit dem Snowflake-Connector, der vom BigQuery Data Transfer Service bereitgestellt wird, können Sie automatisierte Übertragungsjobs planen und verwalten, um Daten aus Snowflake in BigQuery zu migrieren. Dazu verwenden Sie Zulassungslisten für öffentliche IP-Adressen.

Übersicht

Der Snowflake-Connector aktiviert die Migrations-Agents in Google Kubernetes Engine und löst einen Ladevorgang von Snowflake zu einem Staging-Bereich beim selben Cloud-Anbieter aus, bei dem Snowflake gehostet wird. Bei AWS-gehosteten Snowflake-Konten werden die Daten zuerst in Ihrem Amazon S3-Bucket bereitgestellt und dann mit dem BigQuery Data Transfer Service zu BigQuery übertragen.

Das folgende Diagramm zeigt, wie Daten aus einem in AWS gehosteten Snowflake-Data Warehouse in BigQuery übertragen werden.

Beschränkungen

Für Datenübertragungen mit dem Snowflake-Connector gelten die folgenden Einschränkungen:

• Datenübertragungen werden nur von Snowflake-Konten unterstützt, die auf AWS gehostet werden. Datenübertragungen von Snowflake-Konten, die auf Google Cloud oder Microsoft Azure gehostet werden, werden nicht unterstützt.
• Der Snowflake-Connector unterstützt keine inkrementellen Datenübertragungen.
• Der Snowflake-Connector unterstützt nur Übertragungen aus Tabellen in einer einzelnen Snowflake-Datenbank und einem einzelnen Snowflake-Schema. Wenn Sie Daten aus Tabellen mit mehreren Snowflake-Datenbanken oder ‑Schemas übertragen möchten, können Sie jeden Übertragungsjob separat einrichten.
• Die Geschwindigkeit des Ladens von Daten aus Snowflake in Ihren Amazon S3-Bucket wird durch das Snowflake-Warehouse begrenzt, das Sie für diese Übertragung ausgewählt haben.

• Daten werden aus Snowflake im Parquet-Datenformat extrahiert, bevor sie in BigQuery geladen werden:

  • Die folgenden Parquet-Datentypen werden nicht unterstützt:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Weitere Informationen finden Sie unter Snowflake-Daten analysieren.

  • Der folgende Parquet-Datentyp wird nicht unterstützt, kann aber konvertiert werden:

    • TIMESTAMP_NTZ

    Verwenden Sie die globale YAML-Konfiguration für die Typkonvertierung, um das Standardverhalten der DATETIME-Konvertierung in TIMESTAMP zu überschreiben, wenn Sie Metadaten generieren und die Übersetzungs-Engine ausführen.

    Die YAML-Konfiguration könnte so aussehen:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Hinweise

Bevor Sie einen Snowflake-Transfer einrichten, müssen Sie alle in diesem Abschnitt aufgeführten Schritte ausführen. Im Folgenden finden Sie eine Liste aller erforderlichen Schritte.

1. Google Cloud -Projekt vorbereiten
2. Erforderliche BigQuery-Rollen
3. Amazon S3-Bucket vorbereiten
4. Snowflake-Nutzer mit den erforderlichen Berechtigungen erstellen
5. Netzwerkrichtlinien hinzufügen
6. Metadaten generieren und Übersetzungsmodul ausführen
7. Snowflake auf nicht unterstützte Datentypen prüfen
8. Übertragungsinformationen erfassen

Google Cloud -Projekt vorbereiten

So erstellen und konfigurieren Sie Ihr Google Cloud Projekt für eine Snowflake-Übertragung:

1. Erstellen Sie ein Google Cloud Projekt oder wählen Sie ein vorhandenes Projekt aus.

2. Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.

3. Erstellen Sie ein BigQuery-Dataset zum Speichern Ihrer Daten. Sie müssen keine Tabellen erstellen.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Übertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer Übertragung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Amazon S3-Bucket vorbereiten

Um eine Snowflake-Datenübertragung abzuschließen, müssen Sie einen Amazon S3-Bucket erstellen und ihn so konfigurieren, dass Snowflake Schreibzugriff hat.

1. Amazon S3-Bucket erstellen Der Amazon S3-Bucket wird verwendet, um die Daten bereitzustellen, bevor sie in BigQuery geladen werden.

2. Erstellen und konfigurieren Sie ein Snowflake-Speicherintegrationsobjekt, damit Snowflake Daten als externe Phase in den Amazon S3-Bucket schreiben kann.

Damit Lesezugriff auf Ihren Amazon S3-Bucket möglich ist, müssen Sie außerdem Folgendes tun:

1. Erstellen Sie einen dedizierten Amazon IAM-Nutzer und weisen Sie ihm die Richtlinie AmazonS3ReadOnlyAccess zu.

2. Erstellen Sie ein Amazon-Zugriffsschlüsselpaar für den IAM-Nutzer.

Snowflake-Nutzer mit den erforderlichen Berechtigungen erstellen

Bei einer Snowflake-Übertragung wird über eine JDBC-Verbindung eine Verbindung zwischen dem Snowflake-Connector und Ihrem Snowflake-Konto hergestellt. Sie müssen einen neuen Snowflake-Nutzer mit einer benutzerdefinierten Rolle erstellen, die nur die erforderlichen Berechtigungen für die Datenübertragung hat:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Ersetzen Sie Folgendes:

• MIGRATION_ROLE: der Name der benutzerdefinierten Rolle, die Sie erstellen
• WAREHOUSE_NAME: der Name Ihres Data Warehouse
• DATABASE_NAME: der Name Ihrer Snowflake-Datenbank
• SCHEMA_NAME: der Name Ihres Snowflake-Schemas
• TABLE_NAME: der Name der Snowflake-Instanz, die in dieser Datenübertragung enthalten ist
• STORAGE_INTEGRATION_OBJECT_NAME: der Name Ihres Snowflake-Speicherintegrationsobjekts.

Netzwerkrichtlinien hinzufügen

Bei öffentlichen Verbindungen ist im Snowflake-Konto standardmäßig eine öffentliche Verbindung mit Datenbankanmeldedaten zulässig. Möglicherweise haben Sie jedoch Netzwerkregeln oder ‑richtlinien konfiguriert, die verhindern, dass der Snowflake-Connector eine Verbindung zu Ihrem Konto herstellt. In diesem Fall müssen Sie die erforderlichen IP-Adressen Ihrer Zulassungsliste hinzufügen.

In der folgenden Tabelle finden Sie eine Liste der IP-Adressen für die regionalen und multiregionalen Standorte, die für öffentliche Übertragungen verwendet werden. Sie können entweder die IP-Adressen hinzufügen, die dem Speicherort Ihres Datasets entsprechen, oder alle in der Tabelle aufgeführten IP-Adressen. Dies sind IP-Adressen, die von Google für BigQuery Data Transfer Service-Datenübertragungen reserviert sind.

So fügen Sie eine IP-Adresse einer Zulassungsliste hinzu:

1. Netzwerkregel erstellen mit type = IPV4. Der BigQuery Data Transfer Service verwendet eine JDBC-Verbindung, um eine Verbindung zum Snowflake-Konto herzustellen.
2. Erstellen Sie eine Netzwerkrichtlinie mit der Netzwerkregel, die Sie zuvor erstellt haben, und der IP-Adresse aus der folgenden Tabelle.

Regionale Standorte

Multiregionale Standorte

¹ Daten in der Multiregion EU werden nicht in den Rechenzentren europe-west2 (London) oder europe-west6 (Zürich) gespeichert.

Metadaten generieren und Übersetzungsmodul ausführen

Der BigQuery Data Transfer Service für den Snowflake-Connector verwendet die Übersetzungs-Engine des BigQuery-Migrationsdienstes für die Schemazuordnung bei der Migration von Snowflake-Tabellen in BigQuery. Um eine Snowflake-Datenübertragung abzuschließen, müssen Sie zuerst Metadaten für die Übersetzung generieren und dann die Übersetzungs-Engine ausführen:

1. Führen Sie dwh-migration-tool für Snowflake aus. Weitere Informationen finden Sie unter Metadaten für Übersetzung und Bewertung generieren.
2. Laden Sie die generierte Datei metadata.zip in einen Cloud Storage-Bucket hoch. Die Datei metadata.zip wird als Eingabe für die Übersetzungs-Engine verwendet.

3. Führen Sie den Batchübersetzungsdienst aus und geben Sie das Feld target_types als metadata an. Weitere Informationen finden Sie unter SQL-Abfragen mit der Translation API übersetzen.

   • Im Folgenden finden Sie ein Beispiel für einen Befehl zum Ausführen einer Batchübersetzung für Snowflake:

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • Sie können den Status dieses Befehls in BigQuery auf der Seite SQL-Übersetzung prüfen. Die Ausgabe des Batchübersetzungsjobs wird in gs://translation_target_base_uri/metadata/config/ gespeichert.

Erforderliche Dienstkontoberechtigungen

Bei einem Snowflake-Transfer wird ein Dienstkonto verwendet, um Daten aus der Ausgabe der Übersetzungs-Engine im angegebenen Cloud Storage-Pfad zu lesen. Sie müssen dem Dienstkonto die Berechtigungen storage.objects.get und storage.objects.list erteilen.

Wenn das Dienstkonto aus einem Google Cloud -Projekt stammt, das sich von dem Projekt unterscheidet, in dem die BigQuery-Datenübertragung erstellt wurde, müssen Sie auch die projektübergreifende Dienstkontoautorisierung aktivieren.

Weitere Informationen finden Sie unter BigQuery-IAM-Rollen und -Berechtigungen.

Snowflake-Daten bewerten

BigQuery schreibt Daten aus Snowflake als Parquet-Dateien in Cloud Storage. Die Datentypen TIMESTAMP_TZ und TIMESTAMP_LTZ werden in Parquet-Dateien nicht unterstützt. Wenn Ihre Daten diese Typen enthalten, können Sie sie als CSV-Dateien in Amazon S3 exportieren und die CSV-Dateien dann in BigQuery importieren. Weitere Informationen finden Sie unter Übersicht über Amazon S3-Übertragungen.

Übertragungsinformationen erfassen

Erfassen Sie die Informationen, die Sie zum Einrichten der Migration mit BigQuery Data Transfer Service benötigen:

• Ihre Snowflake-Konto-ID, das Präfix in Ihrer Snowflake-Konto-URL. Beispiel: ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• Der Nutzername und das Passwort eines Nutzers mit den entsprechenden Berechtigungen für Ihre Snowflake-Datenbank. Es kann nur die erforderlichen Berechtigungen zum Ausführen der Datenübertragung haben.
• Der URI des Amazon S3-Buckets, den Sie für die Übertragung verwenden möchten, und das AWS-Nutzerzugriffsschlüsselpaar. Wir empfehlen, für diesen Bucket eine Lebenszyklusrichtlinie einzurichten, um unnötige Gebühren zu vermeiden.
• Der URI des Cloud Storage-Bucket, in dem Sie die von der Übersetzungs-Engine abgerufenen Schemazuordnungsdateien gespeichert haben.

Snowflake-Übertragung einrichten

Wählen Sie eine der folgenden Optionen aus:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Kontingente und Limits

BigQuery hat ein Ladekontingent von 15 TB pro Ladejob und für jede Tabelle. Snowflake komprimiert die Tabellendaten intern. Daher ist die exportierte Tabellengröße größer als die von Snowflake gemeldete Tabellengröße. Wenn Sie eine Tabelle mit mehr als 15 TB migrieren möchten, wenden Sie sich bitte an dts-migration-preview-support@google.com.

Aufgrund des Konsistenzmodells von Amazon S3 kann es sein, dass einige Dateien nicht in die Übertragung nach BigQuery einbezogen werden.

Preise

Die Preise für BigQuery Data Transfer Service finden Sie auf der Seite Preise.

• Wenn sich das Snowflake-Warehouse und der Amazon S3-Bucket in verschiedenen Regionen befinden, berechnet Snowflake Ausgänge, wenn Sie eine Snowflake-Datenübertragung ausführen. Für Snowflake-Datenübertragungen fallen keine Egress-Gebühren an, wenn sich sowohl das Snowflake-Warehouse als auch der Amazon S3-Bucket in derselben Region befinden.
• Wenn Daten von AWS zu Google Cloudübertragen werden, fallen Gebühren für ausgehenden Traffic zwischen Clouds an.

Nächste Schritte

• Weitere Informationen zum BigQuery Data Transfer Service
• Migrieren Sie SQL-Code mit der Batch-SQL-Übersetzung.