Datastream 概览

Datastream 是一种无服务器且易于使用的变更数据捕获 (CDC) 和复制服务，可让您可靠地同步数据，同时将延迟时间缩至最短。

Datastream 可将数据从运营数据库无缝复制到 BigQuery。此外，Datastream 还支持将变更事件流写入 Cloud Storage，并提供与 Dataflow 模板的简化集成，以构建用于将数据加载到各种目标位置（例如 Cloud SQL 和 Spanner）的自定义工作流。您还可以使用 Datastream 直接利用 Cloud Storage 中的事件流来实现事件驱动型架构。Datastream 支持 Oracle、MySQL、SQL Server、PostgreSQL（包括 AlloyDB for PostgreSQL）、MongoDB（预览版）和 Salesforce（预览版）来源。

Datastream 的优势包括：

  • 可无缝设置 ELT（提取、加载和转换）流水线，实现低延迟数据复制，从而在 BigQuery 中获得近乎实时的数据洞见。
  • 采用无服务器模式，无需预配或管理资源，并且服务会根据需要自动扩容和缩容，停机时间极短。
  • 易于使用的设置和监控体验，超快时间实现价值。
  • 集成 Google Cloud 数据服务产品组合的强大功能，以便跨 Datastream、Dataflow、Pub/Sub 和 BigQuery 等实现数据集成。
  • 跨异构数据库和应用同步和统一数据流。
  • 确保安全，具有专用连接选项以及您希望Google Cloud提供的安全性。
  • 准确可靠，同时提供公开透明的状态报告，而且在数据和架构变化时具有强大的灵活处理能力。
  • 支持多种使用场景，包括用于迁移和混合云配置的分析、数据库复制和同步，并支持构建事件驱动型架构。

使用场景

Datastream 的流式传输功能可实现各种使用场景：

  • 以最低延迟时间复制和同步整个组织中的数据

    您可以可靠地跨异构数据库和应用同步数据，同时确保延迟时间短，对来源性能的影响最小。解锁数据流跨混合环境进行分析、数据库复制、云迁移和事件驱动型架构的能力。

  • 通过无服务器架构无缝扩容或缩容

    借助易于使用的无服务器服务快速启动并运行，随着数据量的变化而无缝扩缩。专注于从数据中获取最新的数据洞见并响应高优先级问题，而不是基础架构管理、性能微调或资源预配。

  • 与 Google Cloud 数据集成套件集成

    利用 Google Cloud 数据集成套件，关联整个组织的数据。将 Datastream 与 Dataflow 作业模板集成，以从 Cloud Storage 存储桶读取数据并将其加载到各种目标位置，例如 BigQuery、Spanner 和 Cloud SQL。

体验元素

Datastream 包含 3 个主要元素：

  • 借助专用连接配置，Datastream 可以通过专用网络（在Google Cloud内部或与通过 VPN 或 Interconnect 连接的外部来源）与数据源进行通信。此通信通过 Virtual Private Cloud (VPC) 对等互连连接进行。
  • 连接配置文件表示与来源和目标位置的连接信息。此信息将由数据流使用。
  • 数据流使用连接配置文件中的信息将 CDC 和回填数据从来源转移到目标位置。

后续步骤