源 PostgreSQL 数据库

本部分包含有关以下内容的信息：

  • Datastream 如何处理从来源 PostgreSQL 数据库中拉取的数据的行为
  • Datastream 支持的 PostgreSQL 数据库版本
  • 如何设置来源 PostgreSQL 数据库以便将数据从该数据库流式传输到目标位置的概述
  • 将 PostgreSQL 数据库用作来源的已知限制

行为

来源 PostgreSQL 数据库依赖其逻辑解码功能。逻辑解码会公开提交到数据库的所有更改，并允许使用输出插件以用户友好的格式使用和处理这些更改。Datastream 使用 pgoutput 插件，这是适用于 PostgreSQL 10 及更高版本的标准 PostgreSQL 逻辑解码插件。

  • 可以选择给定 PostgreSQL 来源中的所有架构或特定架构，以及架构或特定表中的所有表。
  • 复制所有历史数据。
  • 复制所有数据操纵语言 (DML) 变更，例如从指定数据库和表插入、更新和删除。
  • 仅复制已提交的更改。
  • 如果您在表上定义了 REPLICA IDENTITY，Datastream 会将指定的列视为主键。

版本

Datastream 支持 PostgreSQL 10 及更高版本。

Datastream 支持以下类型的 PostgreSQL 数据库：

  • 自托管的 PostgreSQL
  • Cloud SQL for PostgreSQL
  • AlloyDB for PostgreSQL
  • AlloyDB Omni
  • Amazon RDS for PostgreSQL
  • Amazon Aurora PostgreSQL

已知限制

将 PostgreSQL 数据库用作来源来使用 Datastream 时存在以下已知限制：

  • 数据流限 10,000 个表。
  • 超过 5 亿行的表无法回填，除非满足以下条件：
    1. 表具有唯一的 B 树索引。
    2. 该索引不包含以下类型的列：DOUBLE、FLOAT、MONEY、REAL、JSON、JSONB、BYTEA、TXID、XML、复合数据类型或几何数据类型。
    3. 索引中的所有列均不可为 null。
    4. 索引的所有列均按升序排列，或者索引的所有列均按降序排列。
    5. 流中包含索引的所有列。
  • 没有主键的表必须具有副本标识。否则，系统只会将 INSERT 事件复制到目标。
  • 具有主键的表的副本标识不能设置为 FULL 或 NOTHING。必须将其设置为 DEFAULT。
  • Datastream 无法从读取副本实例复制，因为 PostgreSQL 不支持读取副本中的逻辑解码。
  • 并非所有对源架构的更改都可以自动检测到，在这种情况下可能会发生数据损坏。以下架构更改可能会导致数据损坏或无法处理下游事件：
    • 删除列。
    • 在表中间添加列。
    • 更改列的数据类型。
    • 对列重新排序。
    • 删除表（如果同一表被重新创建并添加了新的数据，则与此相关）。
  • Datastream 不支持 geometric 数据类型的列。
  • Datastream 不支持 range 数据类型的列。
  • Datastream 不支持不受支持的数据类型的数组、用户定义数据类型（包括 ENUM）的数组，也不支持 DATE、TIMESTAMP 或 TIMESTAMP WITH TIME ZONE 数据类型的数组。系统会忽略此类列。
  • Datastream 不支持为包含表的副本标识的一部分的列中的 TOAST 值的行复制 UPDATE 事件。系统会舍弃此类事件。
  • Datastream 不支持复制包含 JSON 或 JSONB 值且嵌套对象数量超过 2950 的行。包含此类 JSON 或 JSONB 值的事件不会复制到目标数据库。
  • Datastream 不支持复制 NUMERIC (precision, scale) 列中包含 NaN 值的行。此类列中的值会替换为 NULL 值。
  • Datastream 不支持复制 hstore 数据类型的列。此类列中的值会替换为 NULL 值。
  • Datastream 不支持从采用 SQL_ASCII 编码的源数据库复制非 ASCII 记录。系统会舍弃此类记录。
  • Datastream 不支持复制已定义行级安全 (RLS) 政策的表。如需了解如何绕过此限制，请参阅 PostgreSQL 来源行为和限制。
  • Datastream 不会捕获对生成的列所做的更改。
  • 对数据库执行 PostgreSQL 主要版本升级时，Datastream 可能会停止运行或无法捕获任何新事件。我们建议您先删除复制槽，然后升级数据库，最后重新创建复制槽。如果流失败，请通过指定新的复制槽名称恢复流，并在需要数据一致性时执行回填。

后续步骤