Bigtable Beam コネクタ

Bigtable Beam コネクタ(BigtableIO)はオープンソースの Apache Beam I/O コネクタです。Dataflow を使用したパイプラインで Bigtable データにバッチ オペレーションとストリーミング オペレーションを実行できます。

HBase から Bigtable に移行する場合や、アプリケーションを実行している場合は、Bigtable API ではなく HBase API を使用し、このページに記載されているコネクタではなく、Bigtable HBase Beam コネクタCloudBigtableIO)を使用してください。

コネクタの詳細

Bigtable Beam コネクタは、Apache Beam GitHub リポジトリのコンポーネントです。Javadoc は Class BigtableIO にあります。

Dataflow パイプラインを作成する前に、Apache Beam ランタイム サポートをチェックして、サポート対象バージョンの Java が Dataflow で使用されていることを確認してください。サポートされている最新の Apache Beam リリースを使用してください。

Bigtable Beam コネクタは、Bigtable API を呼び出すクライアント ライブラリである Java 用 Bigtable クライアントと組み合わせて使用します。コネクタを使用するパイプラインを Dataflow にデプロイするためのコードを記述します。Dataflow は、リソースのプロビジョニングと管理を行い、データ処理のスケーラビリティと信頼性を提供します。

Apache Beam プログラミング モデルの詳細については、Beam のドキュメントをご覧ください。

バッチ書き込みのフロー制御

Bigtable Beam コネクタを使用してテーブルにバッチ書き込み(削除リクエストを含む)を送信する場合は、バッチ書き込みフロー制御を有効にできます。この機能を有効にすると、Bigtable は次の処理を自動的に行います。

  • トラフィックをレート制限して Bigtable クラスタの過負荷を回避する
  • Bigtable の自動スケーリングをトリガーするためにクラスタの負荷が十分にあることを確認して(有効な場合)、必要に応じてさらにノードが自動的にクラスタに追加されるようにする

詳細については、バッチ書き込みフロー制御をご覧ください。コードサンプルについては、バッチ書き込みのフロー制御を有効にするをご覧ください。

次のステップ