配置 BigQuery 目标位置

本页介绍如何配置 BigQuery 目标位置，以使用 Datastream 从源数据库流式传输数据。

配置目标数据集

为 BigQuery 目标位置配置数据集时，您可以选择以下任一选项：

• 为每个架构创建一个数据集：系统会根据源的架构名称，在指定的 BigQuery 位置中选择或创建数据集。因此，对于来源中的每个架构，Datastream 会在 BigQuery 中自动创建一个数据集。

  例如，如果您有一个 MySQL 来源，并且该来源包含一个 mydb 数据库以及该数据库中的一个 employees 表，那么 Datastream 会在 BigQuery 中创建 mydb 数据集和 employees 表。

  如果您选择此选项，Datastream 会在包含该流的项目中创建数据集。虽然您无需在与数据流相同的区域中创建数据集，但为了优化费用和性能，我们建议您将数据流的所有资源以及数据集都放在同一区域中。

• 所有架构共用一个数据集：您可以为数据流选择一个 BigQuery 数据集。Datastream 会将所有数据流式传输到此数据集。对于您选择的数据集，Datastream 会以 <schema>_<table> 的形式创建所有表。

  例如，如果您有一个 MySQL 来源，并且该来源包含一个 mydb 数据库和该数据库中的一个 employees 表，那么 Datastream 会在您选择的数据集中创建 mydb_employees 表。

写入行为

• 将数据流式传输到 BigQuery 时，事件的最大大小为 20 MB。

• 配置数据流时，您可以选择 Datastream 将更改数据写入 BigQuery 的方式。如需了解详情，请参阅配置写入模式。

配置写入模式

您可以使用以下两种模式来定义希望如何将数据写入 BigQuery：

• 合并：这是默认的写入模式。选择此选项后，BigQuery 会反映数据在源数据库中的存储方式。这意味着，Datastream 会将数据的所有更改写入 BigQuery，然后 BigQuery 会将这些更改与现有数据合并，从而创建源表的副本作为最终表。在合并模式下，系统不会保留更改事件的任何历史记录。例如，如果您先插入一行，然后更新该行，BigQuery 只会保留更新后的数据。如果您随后从源表中删除相应行，BigQuery 将不再保留该行的任何记录。
• 仅追加：仅追加写入模式允许您以变更数据流（INSERT、UPDATE-INSERT、UPDATE-DELETE 和 DELETE 事件）的形式向 BigQuery 添加数据。如果您需要保留数据的历史状态，请使用此模式。 为了更好地了解仅附加写入模式，请考虑以下场景：
  • 初始回填：初始回填完成后，所有事件都会以 INSERT 类型事件写入 BigQuery，并具有相同的时间戳、通用唯一标识符 (UUID) 和更改序列号。
  • 主键更新：当主键发生更改时，系统会将两行数据写入 BigQuery：
    • 包含原始主键的 UPDATE-DELETE 行
    • 包含新主密钥的 UPDATE-INSERT 行
  • 行更新：当您更新某一行时，系统会将单个 UPDATE-INSERT 行写入 BigQuery
  • 删除行：当您删除某一行时，系统会将一个 DELETE 行写入 BigQuery

表元数据

Datastream 会向写入 BigQuery 目标平台的每个表中附加一个名为 datastream_metadata 的 STRUCT 列。

合并写入模式

如果表在来源中具有主键，则该列包含以下字段：

• UUID：此字段的数据类型为 STRING。
• SOURCE_TIMESTAMP：此字段的数据类型为 INTEGER。

如果表没有主键，则该列包含一个额外的字段：IS_DELETED。此字段的数据类型为 BOOLEAN，用于指示 Datastream 流式传输到目标位置的数据是否与源中的 DELETE 操作相关联。没有主键的表是仅附加的。

仅附加写入模式

datastream_metadata 列包含具有主键和不具有主键的表的相同字段：

• UUID：此字段的数据类型为 STRING。
• SOURCE_TIMESTAMP：此字段的数据类型为 INTEGER。
• CHANGE_SEQUENCE_NUMBER：此字段的数据类型为 STRING。这是 Datastream 为每个变更事件使用的内部序列号。
• CHANGE_TYPE：此字段的数据类型为 STRING。它表示更改事件的类型：INSERT、UPDATE-INSERT、UPDATE-DELETE 或 DELETE。
• SORT_KEYS：此字段包含一个 STRING 值数组。您可以使用这些值对更改事件进行排序。

使用 max_staleness 选项搭配 BigQuery 表

在近乎实时的数据提取过程中，Datastream 会使用 BigQuery 对更新插入操作（例如更新、插入和删除数据）的内置支持。借助 upsert 操作，您可以在添加、修改或删除行时动态更新 BigQuery 目标。Datastream 使用 BigQuery Storage Write API 将这些 upsert 操作流式传输到目标表中。

指定数据过时期限

BigQuery 会根据配置的数据过时限制，持续或在查询运行时在后台应用源修改。当 Datastream 在 BigQuery 中创建新表时，该表的 max_staleness 选项会根据数据流的当前数据过时限制值进行设置。

如需详细了解如何将 BigQuery 表与 max_staleness 选项搭配使用，请参阅表过时程度。

控制 BigQuery 费用

BigQuery 费用与 Datastream 费用分开收取。如需了解如何控制 BigQuery 费用，请参阅 BigQuery CDC 价格。

地图数据类型

下表列出了从支持的源数据库到 BigQuery 目标的数据类型转换。

MongoDB 数据类型

MongoDB 二进制 JSON (BSON) 文档以 MongoDB Extended JSON (v1) 严格模式格式写入 BigQuery。下表显示了数据类型在 BigQuery 中的表示方式以及示例值。

[
    "item1",
    123,
    true,
    { subItem: "object in array" }
  ]
    

将 PostgreSQL 数组作为 BigQuery 数组数据类型进行查询

如果您希望将 PostgreSQL 数组作为 BigQuery ARRAY 数据类型进行查询，可以使用 BigQuery JSON_VALUE_ARRAY 函数将 JSON 值转换为 BigQuery 数组：

  SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_col
  

替换以下内容：

• TYPE：与 PostgreSQL 源数组中的元素类型匹配的 BigQuery 类型。例如，如果源类型是 BIGINT 值数组，则将 TYPE 替换为 INT64。

  如需详细了解如何映射数据类型，请参阅映射数据类型。

• BQ_COLUMN_NAME：BigQuery 表中相关列的名称。

以下两种情况例外：

• 对于源列中 BIT、BIT_VARYING 或 BYTEA 值的数组，请运行以下查询：

  SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_bytes

• 对于源列中 JSON 或 JSONB 值的数组，请使用 JSON_QUERY_ARRAY 函数：

  SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_jsons

已知限制

将 BigQuery 用作目标位置的已知限制包括：

• 您只能将数据复制到与 Datastream 流位于同一 Google Cloud 项目中的 BigQuery 数据集。
• 默认情况下，Datastream 不支持向已复制到 BigQuery 且没有主键的表添加主键，也不支持从已复制到 BigQuery 且有主键的表中移除主键。如果您需要进行此类更改，请与 Google 支持团队联系。如需了解如何更改已具有主键的源表的主键定义，请参阅诊断问题。

• BigQuery 中的主键必须采用以下数据类型：

  • DATE
  • BOOL
  • GEOGRAPHY
  • INT64
  • NUMERIC
  • BIGNUMERIC
  • STRING
  • TIMESTAMP
  • DATETIME

  包含不受支持的数据类型的主键的表不会被 Datastream 复制。

• BigQuery 不支持包含 .、$、/、@ 或 + 字符的表名。Datastream 在创建目标表时会将此类字符替换为下划线。

  例如，源数据库中的 table.name 在 BigQuery 中会变为 table_name。

  如需详细了解 BigQuery 中的表名称，请参阅表命名。

• BigQuery 不支持超过 4 个聚簇列。复制主键列超过 4 列的表时，Datastream 会使用 4 个主键列作为聚簇列。

• Datastream 会将超出范围的日期和时间字面量（例如 PostgreSQL 无限日期类型）映射到以下值：

  • 正值：DATE 到 9999-12-31
  • 将负 DATE 更改为 0001-01-01 的值
  • 正值：TIMESTAMP 到 9999-12-31 23:59:59.999000 UTC
  • 将负 TIMESTAMP 更改为 0001-01-01 00:00:00 UTC 的值

• BigQuery 不支持主键数据类型为 FLOAT 或 REAL 的流式表。此类表不会被复制。 如需详细了解 BigQuery 日期类型和范围，请参阅数据类型。

• 如果您的数据源是 Salesforce，则不支持每个架构的数据集配置选项。

后续步骤

• 了解如何使用 Datastream 将数据从源数据库复制到 BigQuery 数据集。