排定 Snowflake 轉移作業

BigQuery 資料移轉服務提供的 Snowflake 連接器可讓您排定及管理自動移轉工作，使用公開 IP 允許清單將資料從 Snowflake 移轉至 BigQuery。

總覽

Snowflake 連接器會與 Google Kubernetes Engine 中的遷移代理程式相互通訊，並觸發從 Snowflake 傳輸至暫存區的載入作業，而暫存區與 Snowflake 位於同一個雲端供應商。如果是 AWS 代管的 Snowflake 帳戶，資料會先暫存在 Amazon S3 值區，然後透過 BigQuery 資料移轉服務移轉至 BigQuery。

下圖顯示如何將資料從 AWS 代管的 Snowflake 資料倉儲移轉至 BigQuery。

限制

使用 Snowflake 連接器進行資料轉移時，須遵守下列限制：

• 資料移轉僅支援 AWS 代管的 Snowflake 帳戶。不支援從 Google Cloud 或 Microsoft Azure 代管的 Snowflake 帳戶轉移資料。
• Snowflake 連接器不支援增量資料移轉。
• Snowflake 連接器僅支援從單一 Snowflake 資料庫和結構定義中的資料表轉移資料。如要從具有多個 Snowflake 資料庫或結構定義的資料表轉移資料，可以分別設定每項轉移工作。
• 從 Snowflake 將資料載入 Amazon S3 值區的速度，取決於您為這項移轉作業選擇的 Snowflake 倉儲。

• 系統會先以 Parquet 資料格式從 Snowflake 擷取資料，再載入至 BigQuery：

  • 系統不支援下列 Parquet 資料類型：
    • TIMESTAMP_TZ、TIMESTAMP_LTZ
    • OBJECT、VARIANT、ARRAY
    • 詳情請參閱「評估 Snowflake 資料」。

  • 系統不支援下列 Parquet 資料類型，但可以轉換：

    • TIMESTAMP_NTZ

    使用全域類型轉換設定 YAML，在產生中繼資料並執行翻譯引擎時，將 DATETIME 轉換為 TIMESTAMP，藉此覆寫預設行為。

    設定 YAML 可能類似下列範例：

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

事前準備

設定 Snowflake 轉移作業前，請務必先完成本節列出的所有步驟。以下列出所有必要步驟。

1. 準備專案 Google Cloud
2. 必要 BigQuery 角色
3. 準備 Amazon S3 值區
4. 建立具備必要權限的 Snowflake 使用者
5. 新增網路政策
6. 產生中繼資料並執行翻譯引擎
7. 評估 Snowflake 是否有任何不支援的資料類型
8. 收集轉移資訊

準備專案 Google Cloud

請按照下列步驟建立及設定 Google Cloud 專案，以便轉移 Snowflake 資料：

1. 建立 Google Cloud 專案或選取現有專案。

2. 確認您已完成啟用 BigQuery 資料移轉服務的一切必要動作。

3. 建立 BigQuery 資料集來儲存資料。您無須建立任何資料表。

須具備的 BigQuery 角色

如要取得建立移轉作業所需的權限，請要求管理員授予您 BigQuery 管理員 (roles/bigquery.admin) 身分與存取權管理角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色具備建立轉移作業所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

準備 Amazon S3 bucket

如要完成 Snowflake 資料移轉作業，您必須建立 Amazon S3 儲存空間，然後設定允許 Snowflake 寫入存取權。

1. 建立 Amazon S3 值區。 Amazon S3 值區用於暫存資料，再載入至 BigQuery。

2. 建立及設定 Snowflake 儲存空間整合物件，允許 Snowflake 將資料寫入 Amazon S3 儲存空間，做為外部階段。

如要允許 Amazon S3 儲存空間的讀取權限，您也必須執行下列操作：

1. 建立專屬的 Amazon IAM 使用者，並授予 AmazonS3ReadOnlyAccess 政策。

2. 為 IAM 使用者建立 Amazon 存取金鑰組。

建立具備必要權限的 Snowflake 使用者

在 Snowflake 轉移期間，Snowflake 連接器會使用 JDBC 連線連至 Snowflake 帳戶。您必須建立新的 Snowflake 使用者，並指派自訂角色，該角色僅具備執行資料移轉的必要權限：

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

更改下列內容：

• MIGRATION_ROLE：您要建立的自訂角色名稱
• WAREHOUSE_NAME：資料倉儲名稱
• DATABASE_NAME：Snowflake 資料庫名稱
• SCHEMA_NAME：Snowflake 結構定義的名稱
• TABLE_NAME：此資料轉移作業中包含的 Snowflake 名稱
• STORAGE_INTEGRATION_OBJECT_NAME：Snowflake 儲存空間整合物件的名稱。

新增聯播網政策

如果是公開連線，Snowflake 帳戶預設允許使用資料庫憑證進行公開連線。不過，您可能已設定網路規則或政策，導致 Snowflake 連接器無法連線至帳戶。在這種情況下，您必須將必要的 IP 位址加入許可清單。

下表列出用於公開轉移的區域和多區域位置 IP 位址。您可以只加入與資料集位置相對應的 IP 位址，也可以加入表格中列出的所有 IP 位址。這些是 Google 為 BigQuery 資料移轉服務資料移轉作業保留的 IP 位址。

如要將 IP 位址加入許可清單，請按照下列步驟操作：

1. 建立網路規則，其中 type = IPV4。BigQuery 資料移轉服務會使用 JDBC 連線連至 Snowflake 帳戶。
2. 建立網路政策，並使用您先前建立的網路規則和下表中的 IP 位址。

地區位置

多地區位置

¹ 位於 EU 多地區的資料，不會存放在 europe-west2 (倫敦) 或 europe-west6 (蘇黎世) 資料中心。

生成中繼資料並執行翻譯引擎

將 Snowflake 資料表遷移至 BigQuery 時，Snowflake 連接器的 BigQuery 資料移轉服務會使用 BigQuery 遷移服務翻譯引擎進行結構定義對應。如要完成 Snowflake 資料轉移，請先產生用於轉換的中繼資料，然後執行轉換引擎：

1. 執行 Snowflake 的 dwh-migration-tool。詳情請參閱「產生翻譯和評估用的中繼資料」。
2. 將產生的 metadata.zip 檔案上傳至 Cloud Storage bucket。翻譯引擎會將 metadata.zip 檔案做為輸入內容。

3. 執行批次翻譯服務，並將 target_types 欄位指定為 metadata。詳情請參閱「使用 Translation API 翻譯 SQL 查詢」。

   • 以下是為 Snowflake 執行批次翻譯的指令範例：

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • 您可以在 BigQuery 的 SQL 翻譯頁面中查看這項指令的狀態。 批次翻譯工作的輸出內容會儲存在 gs://translation_target_base_uri/metadata/config/ 中。

必要的服務帳戶權限

在 Snowflake 移轉作業中，服務帳戶會用於從指定 Cloud Storage 路徑中的翻譯引擎輸出內容讀取資料。您必須授予服務帳戶 storage.objects.get 和 storage.objects.list 權限。

如果服務帳戶來自 Google Cloud 與建立 BigQuery 資料移轉作業的專案不同的專案，則您也必須啟用跨專案服務帳戶授權。

詳情請參閱「BigQuery IAM 角色和權限」。

評估 Snowflake 資料

BigQuery 會將 Snowflake 的資料寫入 Cloud Storage，並儲存為 Parquet 檔案。Parquet 檔案不支援 TIMESTAMP_TZ 和 TIMESTAMP_LTZ 資料類型。如果資料包含這些類型，您可以將資料匯出至 Amazon S3 做為 CSV 檔案，然後將 CSV 檔案匯入 BigQuery。詳情請參閱 Amazon S3 移轉作業總覽。

收集轉移資訊

收集所需資訊，以便使用 BigQuery 資料移轉服務設定遷移作業：

• 您的 Snowflake 帳戶 ID，也就是 Snowflake 帳戶網址中的前置碼。例如 ACCOUNT_IDENTIFIER.snowflakecomputing.com。
• 具備適當權限的 Snowflake 資料庫使用者名稱和密碼。只要具備執行資料移轉作業的必要權限即可。
• 您要用於移轉的 Amazon S3 值區 URI，以及 AWS 使用者存取金鑰組。建議您為這個值區設定生命週期政策，避免產生不必要的費用。
• Cloud Storage 值區的 URI，您已在其中儲存從翻譯引擎取得的結構定義對應檔。

設定 Snowflake 轉移作業

選取下列選項之一：

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

配額與限制

每個資料表之每個載入工作的 BigQuery 載入配額皆為 15 TB。Snowflake 會在內部壓縮資料表資料，因此匯出的資料表大小會大於 Snowflake 回報的資料表大小。如果您打算遷移大於 15 TB 的資料表，請與 dts-migration-preview-support@google.com 聯絡。

由於 Amazon S3 的一致性模型，您可以在移轉到 BigQuery 時不納入部分檔案。

定價

如要瞭解 BigQuery 資料移轉服務定價，請參閱定價頁面。

• 如果 Snowflake 倉庫和 Amazon S3 值區位於不同區域，執行 Snowflake 資料移轉作業時，Snowflake 會收取輸出費用。如果 Snowflake 倉儲和 Amazon S3 值區位於同一區域，則 Snowflake 資料移轉不會產生輸出費用。
• 從 AWS 移轉資料至 Google Cloud時，須支付跨雲端輸出費用。

後續步驟

• 進一步瞭解 BigQuery 資料移轉服務。
• 使用批次 SQL 轉譯功能遷移 SQL 程式碼。