Bigtable Beam 連接器

Bigtable Beam 連接器 (BigtableIO) 是開放原始碼的 Apache Beam I/O 連接器,可協助您使用 Dataflow,在管道中對 Bigtable 資料執行批次和串流作業。

如果您要從 HBase 遷移至 Bigtable,或是執行使用 HBase API (而非 Bigtable API) 的應用程式,請使用 Bigtable HBase Beam 連接器 (CloudBigtableIO),而非本頁面所述的連接器。

連接器詳細資料

Bigtable Beam 連接器是 Apache Beam GitHub 存放區的元件。Javadoc 位於 Class BigtableIO

建立 Dataflow 管道前,請先查看 Apache Beam 執行階段支援,確認您使用的 Java 版本支援 Dataflow。使用最新支援的 Apache Beam 版本。

Bigtable Beam 連接器會與 Java 適用的 Bigtable 用戶端搭配使用,這個用戶端程式庫會呼叫 Bigtable API。您編寫程式碼來部署管道,並使用 Dataflow 連接器,由該連接器處理資源的佈建和管理作業,協助提升資料處理作業的擴充性和可靠性。

如要進一步瞭解 Apache Beam 程式設計模型,請參閱 Beam 說明文件

批次寫入流量控制

使用 Bigtable Beam 連接器將批次寫入 (包括刪除要求) 傳送至資料表時,可以啟用批次寫入流量控制。啟用這項功能後,Bigtable 會自動執行下列操作:

  • 限制流量速率,避免 Bigtable 叢集過度負載
  • 確保叢集處於足夠的負載下,可觸發 Bigtable 自動調度資源 (如已啟用),以便在需要時自動為叢集新增節點

詳情請參閱批次寫入流程控制。如需程式碼範例,請參閱「啟用批次寫入流程控制」。

後續步驟