常見問題

Datastream 是一項無伺服器變更資料擷取 (CDC) 和複製服務，使用起來十分簡單。Datastream 可從關聯資料庫來源 (例如 AlloyDB for PostgreSQL、PostgreSQL、MySQL、SQL Server 和 Oracle) 以及 Salesforce 和 MongoDB 中，將資料順暢複製到 BigQuery。Datastream 提供現代企業所需的規模、速度、安全性和簡易性。Datastream 具備無伺服器且可自動調度資源的架構，讓您能輕鬆設定 ELT (擷取、載入和轉換) pipeline，進行低延遲的資料複製，以展開近乎即時的深入分析。

Datastream 也能夠在不同類型的資料庫和應用程式之間，以可靠的方式同步處理資料串流，並將延遲時間降至最低。這項服務可讓您輕鬆整合 Dataflow 範本，將資料庫複製到 Cloud SQL 或 Spanner 以便同步處理資料庫，或是直接使用 Cloud Storage 中的事件串流，實現事件導向架構。

• CDC：即時從來源擷取進行中的變更。
• 補充作業：提供資料表中資料的歷史快照。

CDC 是一種資料整合方法，可讓您以更少的系統資源，更快速地整合及分析資料。這是一種方法，可從資料來源中僅擷取最新的變更內容 (更新、插入或刪除)，通常會讀取來源為維持自身內部交易完整性而保留的變更記錄。

CDC 可在新資料載入營運資料儲存庫和資料倉儲時，對來源影響的效率有效。此外，CDC 還能夠採用對資料進行大量載入或即時串流資料變更的流程，取代大量載入以及順暢的批次視窗。

在許多情況下，CDC 可讓您持續存取資料變更，進而發揮價值，例如分析、跨地理分散系統同步處理資料，以及事件驅動式架構。

除了持續變更的資料外，Datastream 也會使用補充作業從來源擷取所有現有資料，然後將資料串流至目的地。因此，目的地會使用來源的所有歷來資料進行「補充」。後置填充有兩種類型：

• 增量：資料表的預設填補類型。在增量補充作業期間，Datastream 會從多個批次的資料列範圍擷取資料，並將資料逐批串流至目的地。
• 完整傾印：在完整傾印補充期間，Datastream 會一次擷取所有資料，並將資料串流至目的地。

如要瞭解補足限制，請參閱各個來源類型的已知限制頁面：

• MySQL
• Oracle
• PostgreSQL (包括 PostgreSQL 適用的 AlloyDB)
• SQL Server
• Salesforce (預先發布版)
• MongoDB (預先發布版)

您可以監控每個物件的補充狀態：

1. 在 Google Cloud 控制台中，前往「Streams」頁面。
2. 按一下要監控的串流。
3. 按一下「Objects」分頁標籤。

CDC 狀態實際上是串流狀態。如果 CDC 作業失敗，整個串流也會失敗。

Cloud Monitoring 提供其他物件層級指標。詳情請參閱 Cloud Monitoring 說明文件。

變更串流是指 Datastream 為了下游使用目的，向目的地發出的事件序列。變更串流寫入 Cloud Storage 的結果，是一組包含特定資料表在一段時間內的變更記錄事件的檔案。這些事件代表該資料表的插入、更新和刪除作業，且可由 Cloud Storage 下游的服務 (例如 Dataflow) 使用及處理，以便用於事件導向架構等用途。

在 Datastream 脈絡中，複製是指在目的地建立來源資料表的 1:1 最新表示法。舉例來說，Oracle 中的資料表會將變更內容持續複製到 BigQuery 表格，並使用從 Oracle 表格串流傳送的變更內容，讓 BigQuery 表格保持最新狀態。複製功能會利用變更串流，消耗每個變更事件，並用於更新目的地。Datastream 可直接複製至 BigQuery，並透過與 Dataflow 整合，支援 Cloud SQL 和 Spanner 等其他目的地，方法是利用可從 Cloud Storage 提取變更串流事件並相應更新目的地資料表的範本。

CDC 可在新資料載入目的地資料儲存庫和資料倉儲時，對來源影響的效率有效。此外，CDC 還能夠採用對資料進行大量載入或近乎即時串流資料變更的流程，取代大量載入以及順暢的批次視窗。

此外，Datastream 會限制同時回填工作的數量，並提供控制選項，讓您決定要回填哪些物件，以及何時回填。

1. 在新的區域或專案中建立串流，並使用與現有串流相同的設定，但不要選取「回補歷史資料」核取方塊。
2. 啟動您建立的串流。
3. 當你建立的串流狀態為 RUNNING 時，請暫停現有的串流。
4. 您也可以選取修改新串流，方法是勾選「補充歷來資料」核取方塊。日後新增至串流的資料表中現有資料，會從來源傳輸至目的地。

如要查看支援 Datastream 的區域清單，請參閱「IP 許可清單和區域」。

Datastream 支援來自 Oracle、MySQL、PostgreSQL、PostgreSQL 適用的 AlloyDB、SQL Server、Salesforce (預先發布版) 和 MongoDB (預先發布版) 來源的串流資料，無論是雲端代管或自行管理的來源皆可。如需來源專屬版本的相關資訊，請參閱下列頁面：

• MySQL 來源
• Oracle 來源
• PostgreSQL 來源 (包括 PostgreSQL 適用的 AlloyDB)
• SQL Server 來源
• Salesforce 來源 (預先發布)
• MongoDB 來源 (預先發布版)

針對 MySQL，Datastream 會處理 MySQL 二進位記錄檔，擷取變更事件。

針對 Oracle，Datastream 會使用 LogMiner 和額外的記錄設定，從 Oracle 的重做記錄中擷取資料。

對於 PostgreSQL 和 PostgreSQL 適用的 AlloyDB，Datastream 會使用 PostgreSQL 的邏輯解碼功能。邏輯解碼會公開所有已提交至資料庫的變更，並允許使用及處理這些變更。

針對 SQL Server，Datastream 會使用交易記錄追蹤資料操縱語言 (DML) 變更。

這項功能有一般限制，也有適用於特定資料庫來源的限制。

一般限制包括：

• 事件大小：Cloud Storage 目的地的資料列大小上限為 100 MB，BigQuery 的資料列大小上限為 20 MB。
• 複寫期間不支援某些資料定義語言 (DDL) 作業，包括：
  • 從表格中間移除資料欄。由於值與錯誤的資料欄相關聯，因此可能會導致資料出現差異。
  • 變更資料欄的資料類型。這可能會導致資料出現差異，因為資料未正確對應至正確的 Datastream 統一類型，且資料可能會毀損。
  • 系統會忽略連鎖刪除作業。
  • 系統會忽略資料表截斷。

如需來源限制的相關資訊，請參閱下列頁面：

• MySQL 限制
• Oracle 限制
• PostgreSQL 限制 (包括 AlloyDB for PostgreSQL 和 AlloyDB Omni)
• SQL Server 限制
• Salesforce 限制
• MongoDB 限制

將資料寫入無結構描述的目的地 (例如 Cloud Storage) 時，Datastream 會將所有來源的資料類型正規化，簡化跨來源資料的下游處理流程。Datastream 會採用原始來源資料類型 (例如 MySQL 或 PostgreSQL NUMERIC 類型或 Oracle NUMBER 類型)，並將其標準化為 Datastream 統一類型。

統一類型代表所有可能來源類型的無損超集，而正規化則表示可輕鬆處理來自不同來源的資料，並以來源通用的方式在下游進行查詢。

如要修正狀態為 Failed 的串流，請解決 Datastream 回報的錯誤。詳情請參閱「排解串流問題」。

您也可以復原狀態為 Failed permanently 的串流。詳情請參閱「復原串流」。

否。Datastream 不需要鎖定資料表。

是，Datastream 支援 MySQL 適用的 Cloud SQL 5.7 和 8.0 版本唯讀備用資源。

您可以在這些執行個體上啟用二進位檔記錄功能。如要執行這項操作，請執行下列 gcloud 指令：

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

如需詳細資訊，請參閱「在唯讀備用資源上記錄二進位檔」。

您必須將下列權限授予 Datastream 使用者，才能複製 MySQL 資料庫中的資料：

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

否，Datastream 不支援使用二進位記錄檔交易壓縮功能壓縮交易事件。停用二進位記錄檔交易壓縮功能，以便在 Datastream 中使用 MySQL 的變更資料擷取功能。

您可以將 SELECT 權限授予要複製的特定資料表，或是資料庫中的整個結構定義。如要執行此操作，請執行下列任一指令：

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

更改下列內容：

• DATABASE_NAME：MySQL 資料庫名稱。
• TABLE_NAME：您要授予 SELECT 權限的資料表名稱。
• USER_NAME：您要授予 SELECT 權限的使用者名稱。

如要將權限限制在特定主機名稱，請將 % 字元替換為特定 IP 位址或位址範圍。

Datastream 支援根據 Oracle Net Services 加密傳輸中的資料。Datastream 會在 REQUESTED 模式下執行。

是，Datastream 支援 TCPS 通訊協定，可透過 SSL/TLS 加密連線連線至 Oracle 來源。

如果無法授予 GRANT SELECT ANY TABLE 權限，您可以將 SELECT 權限授予下列表格：

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

如要使用 Datastream 串流變更，您還需要對串流中包含的所有資料表具備讀取權限。

如要啟動串流，請使用 API 略過驗證程序。詳情請參閱「開始串流」。

ALTER USER USER_NAME BYPASSRLS;

將 USER_NAME 替換為 Datastream 用來連線至資料庫的使用者名稱，以及您要略過 RLS 政策的使用者名稱。

否。PostgreSQL 複製作業仰賴複製作業運算單元概念，而複製作業運算單元不支援並行連線。一次只能有一個 CDC 工作讀取複製運算單元。舉例來說，如果您從來源資料庫中刪除大量記錄，複製作業時段可能會因刪除事件過載。來源的後續變更會延遲，直到複製運算單元佇列中已排入的刪除事件處理完畢為止。

如要瞭解複製大量交易資料時的建議做法，請參閱「診斷問題」。

是的，Datastream 支援 SSL/TLS 加密連線。

您必須向 Datastream 使用者授予下列角色和權限，才能複製 SQL Server 資料庫中的資料：

針對變更資料表 CDC 方法：

• db_owner
• db_denydatawriter

此外，針對交易記錄 CDC 方法：

• 資料庫和 sys.fn_dblog 函式的 SELECT 權限
• dbo.sysjobs 資料表的 SELECT 權限
• VIEW SERVER STATE

如要進一步瞭解如何設定來源，請參閱資料庫類型的相關設定頁面。

您可以根據來源 SQL Server 資料庫設定，選取下列兩種可用的 CDC 方法之一：

• 交易記錄：選取這個方法，即可直接從資料庫記錄處理變更。這個方法較有效率、成效最佳，不過需要額外進行設定，您的資料庫可能不支援相關步驟。
• 變更資料表：選取這個方法，即可處理專用變更資料表中的變更。這個方法的設定程序較為簡單且限制較少，不過處理量較低，且會增加資料庫的負載。

詳情請參閱「SQL Server 做為來源的簡介」。

物件是類別實體，類似於關聯資料庫命名法中的資料表。可為標準或自訂。根據預設，標準物件會包含在 Salesforce 中，而使用者則會建立自訂物件，用於儲存特定用途的資料。

記錄是物件的特定例項，類似於關聯式資料庫中的資料列。

欄位是物件的特定屬性，類似於關聯式資料庫中的資料欄。

• 在僅附加模式中，資料會以變更串流形式附加至 BigQuery，每個 INSERT、UPDATE-INSERT、UPDATE-DELETE 和 DELETE 事件都會對應至一個獨立的資料列。
• 在「Merge」模式 (預設模式) 中，當 Datastream 在 BigQuery 中建立資料表時，會根據來源中定義的主鍵，設定資料表的主鍵。BigQuery 會處理事件，並根據來源資料表主鍵，將變更套用至基礎 BigQuery 資料表。如果來源資料表沒有主鍵，系統會視為使用 僅附加模式。

每個事件都包含幾個可明確識別記錄檔中資料列的中繼資料欄位，方便您對事件排序。這些欄位包括：

適用於 Oracle 來源：

• rs_id (記錄集 ID)，實際上是由三個值 (例如 0x0073c9.000a4e4c.01d0) 組成。rs_id 專門識別重做記錄中的記錄。
• ssn (SQL 序號)，當重做記錄太長時會使用這個值。因此，Oracle LogMiner 會將記錄分割為多個資料列。

適用於 MySQL 來源：

• log_file，Datastream 會從中擷取 CDC 複製事件。
• log_position，用於識別 MySQL 二進位檔記錄中的偏移量。

適用於 PostgreSQL 來源：

• source_timestamp，這是記錄在來源上變更時的時間戳記。如果要排序的事件的 source_timestamp 值相同，請比較 lsn 值。
• lsn (記錄序號)，用於識別 WAL 記錄檔中記錄的偏移量。

如要進一步瞭解中繼資料欄位，請參閱「來源專屬中繼資料」。

DataStream 屬於美國疾病管制與預防中心 (CDC) 與複製服務，這代表在各種不同情況下，可以持續使用串流資料變更的長期用途。資料串流最常見的用途如下：

1. 數據分析：直接將資料複製到 BigQuery，客戶就能在 BigQuery 中存取最新的營運資料。客戶可以使用 BigQuery 中持續更新的資料，根據自己的資料建立最新的資訊主頁。例如，您可以用來監控系統，並取得最新的業務狀態洞察資料。
2. 資料庫複製和同步處理情境：將 Datastream 與 Dataflow 範本整合，即可將資料載入 Cloud SQL 或 Spanner，並在這些資料庫中取得來源資料的最新複製版本。您可以使用目的地資料庫中的持續更新資料，從來源到目的地進行停機時間短的資料庫遷移，或是設定混合雲端，讓來源和目的地位於不同的代管環境。
3. 以事件為核心的架構：以微服務為基礎的現代架構會依賴中央資料中心，並持續更新來自貴機構的事件，以便以事件為核心。您可以持續將事件資料寫入 BigQuery 和 Cloud Storage 等目的地，藉此建構事件導向架構，並根據這些目的地的事件資料使用方式進行處理。

Datastream 可從來源提供 CDC 資料複製功能，進而補充及強化 Google Cloud 資料套件，並支援各種 Google Cloud 服務。透過與這些服務無縫整合，Datastream 可融入更大的 Google Cloud 生態系統。

Datastream 可整合下列資料服務：

• BigQuery：Datastream 會使用 BigQuery Write API 直接與 BigQuery 整合。Datastream 會將變更事件直接寫入 BigQuery 資料集，並持續將變更與現有資料合併 (UPSERT)。
• Dataflow：Datastream 會使用 Dataflow 範本與 Dataflow 整合。這些範本會讀取 Cloud Storage 中的資料，並將資料載入 BigQuery、Cloud SQL for PostgreSQL 或 Spanner。這些範本的目的是在目的地中維持最新的複寫來源資料表。這些範本可在 Dataflow UI 中使用，並針對 Datastream 產生的檔案進行建構，可供即時處理。
• Cloud Storage：Datastream 會將變更串流寫入 Cloud Storage，以便整合 Cloud Storage。
• Cloud SQL 和 Spanner：使用 Datastream 和 Dataflow 範本，您可以在資料庫中維護最新的複本資料表。

您可以設定三種連線方法：

• IP 許可清單：這個方法會在來源上設定 Datastream 的區域 IP 位址許可清單，以便提供公開連線。建立串流時，Datastream 會在 UI 中顯示這些 IP 位址。
• 轉送安全殼層通道：除了將區域 IP 位址加入許可清單，這個方法還會利用客戶設定的安全殼層，透過公用網路提供安全連線。
• 透過虛擬私有雲對等互連建立私人連線：使用這項方法，透過 Google Cloud的內部網路連線至 Google Cloud代管的資料庫，或是在 Datastream 私人網路和貴機構的 Google Cloud 虛擬私有雲之間建立虛擬私有雲對等互連，以便利用現有的 VPN 或 Interconnect。

Datastream 可讓您指定要將來源的哪些特定資料元素 (結構定義、資料表和資料欄) 串流至目的地，以及要排除哪些元素。

資料庫記錄可能包含串流定義中排除的元素變更資料。由於您無法在來源中篩選這些元素，Datastream 會讀取任何與元素相關聯的資料，但會忽略這些資料。

動態選取 IP 範圍

• compute.routes.get
• compute.routes.list
• compute.subnetworks.get
• compute.subnetworks.list

建立對等網路

• compute.globalOperations.get
• compute.networks.addPeering
• compute.networks.removePeering
• compute.networks.get

保留 IP 位址

• compute.globalAddresses.get
• compute.globalAddresses.create
• compute.globalAddresses.createInternal
• compute.globalAddresses.delete
• compute.globalAddresses.deleteInternal
• compute.networks.use
• compute.networks.listPeeringRoutes

Datastream 的價格取決於從來源處理至目的地的資料量 (GB)。

如要進一步瞭解 Datastream 的定價資訊，請參閱「定價」。