从 Amazon Redshift 迁移架构和数据

本文档介绍了使用公共 IP 地址将数据从 Amazon Redshift 迁移到 BigQuery 的过程。

您可以使用 BigQuery Data Transfer Service 将数据从 Amazon Redshift 数据仓库复制到 BigQuery。此服务与 GKE 中的迁移代理合作，并触发从 Amazon Redshift 到 Amazon S3 存储桶中的暂存区域的卸载操作。然后，BigQuery Data Transfer Service 会将 Amazon S3 存储桶中的数据迁移到 BigQuery。

下图展示了迁移期间 Amazon Redshift 数据仓库与 BigQuery 之间的整体数据流动情况。

如果您想要通过虚拟私有云 (VPC) 在专用 IP 地址上转移 Amazon Redshift 实例中的数据，请参阅通过 VPC 迁移 Amazon Redshift 数据。

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and BigQuery Data Transfer Service APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and BigQuery Data Transfer Service APIs.

   Enable the APIs

设置所需权限

创建 Amazon Redshift 转移作业的准备工作：

1. 确保创建转移作业的主账号在包含转移作业的项目中具有以下权限：

   • 创建转移作业所需的 bigquery.transfers.update 权限
   • 针对目标数据集的 bigquery.datasets.get 和 bigquery.datasets.update 权限

   roles/bigquery.admin 预定义的 Identity and Access Management (IAM) 角色包括 bigquery.transfers.update、bigquery.datasets.update 和 bigquery.datasets.get 权限。如需详细了解 BigQuery Data Transfer Service 中的 IAM 角色，请参阅访问权限控制。

2. 请参阅 Amazon S3 的相关文档，以确保您已配置启用转移作业所需的所有权限。Amazon S3 源数据必须至少应用 AWS 托管政策 AmazonS3ReadOnlyAccess。

创建数据集

创建 BigQuery 数据集来存储数据。您不需要创建任何表。

授予对 Amazon Redshift 集群的访问权限

按照为 SQL 客户端配置入站规则中的说明，将以下 IP 地址列入许可名单。您可以将与您的数据集位置对应的 IP 地址列入许可名单，也可以将下表中的所有 IP 地址列入许可名单。以下是为 Amazon Redshift 数据迁移预留的 Google 拥有的 IP 地址。

单区域位置

多区域位置

¹ 位于 EU 多区域的数据不会存储在 europe-west2（伦敦）或 europe-west6（苏黎世）数据中心中。

授予对 Amazon S3 存储桶的访问权限

您必须拥有 S3 存储桶才能用作将 Amazon Redshift 数据转移到 BigQuery 的暂存区。如需详细说明，请参阅 Amazon 文档。

1. 建议您创建一个专用的 Amazon IAM 用户，并授予该用户对 Amazon Redshift 的只读访问权限以及对 Amazon S3 的读写访问权限。如需实现此步骤，您可以应用以下政策：

   

2. 创建 Amazon IAM 用户访问密钥对。

通过单独的迁移队列配置工作负载控制

您可以选择定义一个专供迁移使用的 Amazon Redshift 队列，借此限制并分隔用于迁移的资源。您可以使用最大并发查询计数配置此迁移队列。然后，您可以将特定迁移用户组与此队列关联，并在设置迁移时使用这些凭据将数据转移到 BigQuery。转移服务仅拥有迁移队列的访问权限。

收集转移信息

收集使用 BigQuery Data Transfer Service 设置迁移所需的信息：

• 按照获取 JDBC 网址的说明进行操作。
• 获取对您的 Amazon Redshift 数据库具有适当权限的用户的用户名和密码。
• 按照授予对 Amazon S3 存储桶的访问权限中的说明获取 AWS 访问密钥对。
• 获取您要用于转移作业的 Amazon S3 存储桶的 URI。我们建议您为此存储桶设置生命周期政策，以避免产生不必要的费用。建议的到期时间为 24 小时，以便您有足够的时间将所有数据转移到 BigQuery。

评估您的数据

在数据转移过程中，BigQuery Data Transfer Service 会将 Amazon Redshift 中的数据以 CSV 文件的形式写入 Cloud Storage。如果这些文件包含 ASCII 0 字符，则无法加载到 BigQuery 中。我们建议您评估自己的数据，以确定是否存在此问题。如果存在此问题，您可以通过将数据以 Parquet 文件的形式导出到 Amazon S3 来解决此问题，然后使用 BigQuery Data Transfer Service 导入这些文件。如需了解详情，请参阅 Amazon S3 转移作业概览。

设置 Amazon Redshift 转移作业

从下列选项中选择一项：

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

bq mk \
    --transfer_config \
    --project_id=myproject \
    --data_source=redshift \
    --target_dataset=mydataset \
    --display_name='My Transfer' \
    --params='{"jdbc_url":"jdbc:postgresql://test-example-instance.sample.us-west-1.redshift.amazonaws.com:5439/dbname","database_username":"my_username","database_password":"1234567890","access_key_id":"A1B2C3D4E5F6G7H8I9J0","secret_access_key":"1234567890123456789012345678901234567890","s3_bucket":"s3://bucket/prefix","redshift_schema":"public","table_name_patterns":"table_name"}'

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create redshift transfer config
public class CreateRedshiftTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String datasetRegion = "US";
    String jdbcUrl = "MY_JDBC_URL_CONNECTION_REDSHIFT";
    String dbUserName = "MY_USERNAME";
    String dbPassword = "MY_PASSWORD";
    String accessKeyId = "MY_AWS_ACCESS_KEY_ID";
    String secretAccessId = "MY_AWS_SECRET_ACCESS_ID";
    String s3Bucket = "MY_S3_BUCKET_URI";
    String redShiftSchema = "MY_REDSHIFT_SCHEMA";
    String tableNamePatterns = "*";
    String vpcAndReserveIpRange = "MY_VPC_AND_IP_RANGE";
    Map<String, Value> params = new HashMap<>();
    params.put("jdbc_url", Value.newBuilder().setStringValue(jdbcUrl).build());
    params.put("database_username", Value.newBuilder().setStringValue(dbUserName).build());
    params.put("database_password", Value.newBuilder().setStringValue(dbPassword).build());
    params.put("access_key_id", Value.newBuilder().setStringValue(accessKeyId).build());
    params.put("secret_access_key", Value.newBuilder().setStringValue(secretAccessId).build());
    params.put("s3_bucket", Value.newBuilder().setStringValue(s3Bucket).build());
    params.put("redshift_schema", Value.newBuilder().setStringValue(redShiftSchema).build());
    params.put("table_name_patterns", Value.newBuilder().setStringValue(tableNamePatterns).build());
    params.put(
        "migration_infra_cidr", Value.newBuilder().setStringValue(vpcAndReserveIpRange).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDatasetRegion(datasetRegion)
            .setDisplayName("Your Redshift Config Name")
            .setDataSourceId("redshift")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    createRedshiftTransfer(projectId, transferConfig);
  }

  public static void createRedshiftTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Cloud redshift transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Cloud redshift transfer was not created." + ex.toString());
    }
  }
}

配额和限制

对于每个表的每个加载作业，BigQuery 都有 15 TB 的加载配额。Amazon Redshift 会在内部执行表数据压缩，因此实际导出的表大小会超过 Amazon Redshift 报告的表大小。如果您打算迁移 15 TB 以上的表，请先联系 Cloud Customer Care。

使用此服务可能会在 Google 外部产生费用。如需了解详情，请查看 Amazon Redshift 和 Amazon S3 的价格页面。

由于 Amazon S3 的一致性模型要求，向 BigQuery 转移的作业中可能不包括某些文件。

后续步骤

• 了解如何通过 VPC 迁移 Amazon Redshift 专用实例。
• 详细了解 BigQuery Data Transfer Service。
• 使用批量 SQL 转换迁移 SQL 代码。