安排 Snowflake 转移作业

借助 BigQuery Data Transfer Service 提供的 Snowflake 连接器，您可以使用公共 IP 许可清单安排和管理自动转移作业，以将数据从 Snowflake 迁移到 BigQuery。

概览

Snowflake 连接器与 Google Kubernetes Engine 中的迁移代理合作，并触发从 Snowflake 到托管 Snowflake 的同一云服务提供商中的暂存区的加载操作。对于 AWS 托管的 Snowflake 账号，数据会先暂存在 Amazon S3 存储桶中，然后通过 BigQuery Data Transfer Service 转移到 BigQuery。

下图展示了如何将数据从 AWS 托管的 Snowflake 数据仓库转移到 BigQuery。

限制

使用 Snowflake 连接器进行的数据转移存在以下限制：

• 仅支持从托管在 AWS 上的 Snowflake 账号的数据转移。不支持从托管在 Google Cloud 或 Microsoft Azure 上的 Snowflake 账号的数据转移。
• Snowflake 连接器不支持增量数据转移。
• Snowflake 连接器仅支持从单个 Snowflake 数据库和架构中的表的转移。如需从包含多个 Snowflake 数据库或架构的表中进行转移，您可以单独设置每个转移作业。
• 将数据从 Snowflake 加载到 Amazon S3 存储桶的速度受您为此转移作业选择的 Snowflake 仓库的限制。

• 数据会以 Parquet 数据格式从 Snowflake 中提取，然后再加载到 BigQuery 中：

  • 不支持以下 Parquet 数据类型：
    • TIMESTAMP_TZ、TIMESTAMP_LTZ
    • OBJECT、VARIANT、ARRAY
    • 如需了解详情，请参阅评估 Snowflake 数据。

  • 不支持以下 Parquet 数据类型，但可以转换：

    • TIMESTAMP_NTZ

    在生成元数据并运行转换引擎时，使用全局类型转换配置 YAML 替换 DATETIME 转换为 TIMESTAMP 的默认行为。

    配置 YAML 可能类似于以下示例：

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

准备工作

在设置 Snowflake 转移之前，您必须执行本部分中列出的所有步骤。下面列出了所有必需的步骤。

1. 准备 Google Cloud 项目
2. 所需 BigQuery 角色
3. 准备 Amazon S3 存储桶
4. 创建具有所需权限的 Snowflake 用户
5. 添加网络政策
6. 生成元数据并运行转换引擎
7. 评估 Snowflake 中是否存在任何不受支持的数据类型
8. 收集转移信息

准备 Google Cloud 项目

按照以下步骤创建和配置 Google Cloud 项目，以进行 Snowflake 转移：

1. 创建一个 Google Cloud 项目或选择现有项目。

2. 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。

3. 创建一个 BigQuery 数据集来存储数据。您不需要创建任何表。

所需 BigQuery 角色

如需获得创建转移作业所需的权限，请让您的管理员为您授予 BigQuery Admin (roles/bigquery.admin) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供创建转移作业所需的权限。如需查看所需的确切权限，请展开所需权限部分：

您也可以使用自定义角色或其他预定义角色来获取这些权限。

准备 Amazon S3 存储桶

如需完成 Snowflake 数据转移，您必须创建 Amazon S3 存储桶，然后将其配置为允许从 Snowflake 进行写入访问。

1. 创建 Amazon S3 存储桶。Amazon S3 存储桶用于在将数据加载到 BigQuery 之前对数据进行暂存。

2. 创建并配置 Snowflake 存储集成对象，以允许 Snowflake 将数据写入 Amazon S3 存储桶作为外部阶段。

如需允许对 Amazon S3 存储桶进行读取访问，您还必须执行以下操作：

1. 创建专用的 Amazon IAM 用户，并为其授予 AmazonS3ReadOnlyAccess 政策。

2. 为 IAM 用户创建 Amazon 访问密钥对。

创建具有所需权限的 Snowflake 用户

在 Snowflake 转移期间，Snowflake 连接器会使用 JDBC 连接连接到您的 Snowflake 账号。您必须创建一个新的 Snowflake 用户，并为其分配自定义角色，该角色仅具有执行数据转移所需的权限：

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

替换以下内容：

• MIGRATION_ROLE：您要创建的自定义角色的名称
• WAREHOUSE_NAME：数据仓库的名称
• DATABASE_NAME：Snowflake 数据库的名称
• SCHEMA_NAME：Snowflake 架构的名称
• TABLE_NAME：此数据转移作业中包含的 Snowflake 的名称
• STORAGE_INTEGRATION_OBJECT_NAME：Snowflake 存储集成对象的名称。

添加网络政策

对于公共连接，Snowflake 账号默认允许使用数据库凭证进行公共连接。不过，您可能配置了网络规则或政策，导致 Snowflake 连接器无法连接到您的账号。在这种情况下，您必须将必要的 IP 地址添加到许可清单中。

下表列出了用于公开转移作业的区域和多区域位置的 IP 地址。您可以添加仅与数据集位置对应的 IP 地址，也可以添加表中列出的所有 IP 地址。这些 IP 地址是 Google 为 BigQuery Data Transfer Service 数据转移作业预留的。

如需将 IP 地址添加到许可清单中，请执行以下操作：

1. 创建网络规则，其中 type = IPV4。BigQuery Data Transfer Service 使用 JDBC 连接连接到 Snowflake 账号。
2. 使用您之前创建的网络规则和下表中的 IP 地址创建网络政策。

单区域位置

多区域位置

¹ 位于 EU 多区域的数据不会存储在 europe-west2（伦敦）或 europe-west6（苏黎世）数据中心中。

生成元数据并运行转换引擎

在将 Snowflake 表迁移到 BigQuery 时，适用于 Snowflake 的 BigQuery Data Transfer Service 连接器会使用 BigQuery 迁移服务转换引擎进行架构映射。如需完成 Snowflake 数据转移，您必须先生成元数据以进行转换，然后运行转换引擎：

1. 为 Snowflake 运行 dwh-migration-tool。如需了解详情，请参阅生成元数据以进行转换和评估。
2. 将生成的 metadata.zip 文件上传到 Cloud Storage 存储桶。metadata.zip 文件用作转换引擎的输入。

3. 运行批量转换服务，并将 target_types 字段指定为 metadata。如需了解详情，请参阅使用 Translation API 转换 SQL 查询。

   • 以下是用于为 Snowflake 运行批量转换的命令示例：

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • 您可以在 BigQuery 的 SQL 转换页面中查看此命令的状态。批量转换作业的输出存储在 gs://translation_target_base_uri/metadata/config/ 中。

所需的服务账号权限

在 Snowflake 转移中，服务账号用于从指定的 Cloud Storage 路径中的转换引擎输出读取数据。您必须向服务账号授予 storage.objects.get 和 storage.objects.list 权限。

如果服务账号来自与创建 BigQuery 数据转移作业的项目不同的 Google Cloud 项目，则您还必须启用跨项目服务账号授权。

如需了解详情，请参阅 BigQuery IAM 角色和权限。

评估 Snowflake 数据

BigQuery 会以 Parquet 文件的形式将数据从 Snowflake 写入 Cloud Storage。Parquet 文件不支持 TIMESTAMP_TZ 和 TIMESTAMP_LTZ 数据类型。如果您的数据包含这些类型，您可以将其以 CSV 文件的形式导出到 Amazon S3，然后将 CSV 文件导入到 BigQuery 中。如需了解详情，请参阅 Amazon S3 转移作业概览。

收集转移信息

收集使用 BigQuery Data Transfer Service 设置迁移所需的信息：

• 您的 Snowflake 账号标识符，即 Snowflake 账号网址中的前缀。例如 ACCOUNT_IDENTIFIER.snowflakecomputing.com。
• 对 Snowflake 数据库具有适当权限的用户的用户名和密码。它只需要具备执行数据转移作业所需的权限。
• 您要用于转移作业的 Amazon S3 存储桶的 URI，以及 AWS 用户访问密钥对。我们建议您为此存储桶设置生命周期政策，以避免产生不必要的费用。
• 您在其中存储从转换引擎获取的架构映射文件的 Cloud Storage 存储桶的 URI。

设置 Snowflake 转移作业

从下列选项中选择一项：

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

配额和限制

对于每个表的每个加载作业，BigQuery 都有 15 TB 的加载配额。 Snowflake 会在内部执行表数据压缩，因此实际导出的表大小会超过 Snowflake 报告的表大小。如果您打算迁移的表大小超过 15 TB，请联系 dts-migration-preview-support@google.com。

由于 Amazon S3 的一致性模型要求，向 BigQuery 转移的作业中可能不包括某些文件。

价格

如需了解 BigQuery Data Transfer Service 价格，请参阅价格页面。

• 如果 Snowflake 仓库和 Amazon S3 存储桶位于不同的区域，则当您运行 Snowflake 数据转移作业时，Snowflake 会收取出站流量费用。如果 Snowflake 仓库和 Amazon S3 存储桶位于同一区域，则 Snowflake 数据转移作业不会产生出站流量费用。
• 将数据从 AWS 转移到 Google Cloud时，会产生云间出站流量费用。

后续步骤

• 详细了解 BigQuery Data Transfer Service。
• 使用批量 SQL 转换迁移 SQL 代码。