Dataflow テンプレート

Flex テンプレートとクラシック テンプレートを比較する

Dataflow では、2 種類のテンプレート（新しい Flex テンプレートとクラシック テンプレート）がサポートされています。新規に Dataflow テンプレートを作成する場合は、Flex テンプレートとして作成することをおすすめします。

Flex テンプレートの場合、パイプラインは Artifact Registry 内の Docker イメージとして、Cloud Storage にあるテンプレート仕様ファイルとともにパッケージ化されます。テンプレート仕様には、Docker イメージへのポインタが含まれています。テンプレートを実行すると、Dataflow サービスはランチャー VM を起動し、Docker イメージを pull してパイプラインを実行します。実行グラフは、ユーザーから指定されたランタイム パラメータに基づいて動的に作成されます。API を使用して、Flex テンプレートを使用するジョブを起動するには、projects.locations.flexTemplates.launch メソッドを使用します。

従来のテンプレートには、Dataflow ジョブグラフの JSON のシリアル化が含まれています。パイプラインのコードは、ValueProvider インターフェースのすべてのランタイム パラメータをラップする必要があります。このインターフェースでは、テンプレートをデプロイするときにパラメータ値を指定できます。API を使用してクラシック テンプレートを操作する場合は、projects.locations.templates API のリファレンス ドキュメントをご覧ください。

Flex テンプレートには、従来のテンプレートと比較して次のような利点があります。

• ジュライのテンプレートとは異なり、Flex テンプレートでは、入力パラメータに ValueProvider インターフェースを必要としません。すべての Dataflow ソースとシンクが ValueProvider をサポートしているわけではありません。
• クラシック テンプレートには静的なジョブグラフがありますが、Flex テンプレートではジョブグラフを動的に作成できます。たとえば、テンプレートで入力パラメータに基づいて別の I/O コネクタを選択できます。
• Flex テンプレートは、パイプラインの作成中に仮想マシン（VM）で前処理を実行します。たとえば、入力パラメータ値の検証などを行います。

テンプレートのワークフロー

Dataflow テンプレートを使用する際の大まかな流れは次のとおりです。

1. デベロッパーは、開発環境を設定し、パイプラインを開発します。その環境には、Apache Beam SDK や他の依存関係が含まれます。
2. テンプレートの種類（Flex またはクラシック）に応じて、次のことを行います。
   • Flex テンプレートの場合、デベロッパーはパイプラインを Docker イメージにパッケージ化し、そのイメージを Artifact Registry に push して、テンプレート仕様ファイルを Cloud Storage にアップロードします。
   • クラシック テンプレートの場合、デベロッパーはパイプラインを実行し、テンプレート ファイルを作成して、そのテンプレートを Cloud Storage にステージングします。
3. 他のユーザーは、テンプレートの実行リクエストを Dataflow サービスに送信します。
4. Dataflow はテンプレートからパイプラインを作成します。パイプラインの実行が開始されるまでには最大で 5～7 分かかります。

IAM 権限を設定する

Dataflow ジョブ（テンプレートから実行されるジョブを含む）は、次の 2 つの IAM サービス アカウントを使用します。

• Dataflow サービスは、Dataflow サービス アカウントを使用して Google Cloud リソースを操作します（VM の作成など）。
• Dataflow ワーカー VM は、ワーカー サービス アカウントを使用してパイプラインのファイルとその他のリソースにアクセスします。このサービス アカウントには、テンプレートで使用されるソースやシンクなど、パイプライン ジョブが参照するリソースへのアクセス権が必要です。詳細については、Google Cloud リソースにアクセスするをご覧ください。

これら 2 つのサービス アカウントに適切なロールがあることを確認してください。詳細については、Dataflow のセキュリティと権限をご覧ください。

Apache Beam SDK バージョンの要件

独自のテンプレートを作成する際は、使用している Apache Beam SDK のバージョンでテンプレートの作成がサポートされていることを確認します。

Google Cloud CLI を使用してテンプレートを実行するには、Google Cloud CLI バージョン 138.0.0 以降が必要です。

テンプレートを拡張する

オープンソースの Dataflow テンプレートを拡張することで、独自のパイプラインを構築できます。たとえば、固定のウィンドウ期間を使用するテンプレートの場合、ウィンドウ外に届いたデータは破棄されることがあります。この動作を回避するには、テンプレート コードをベースとして使用し、.withAllowedLateness オペレーションを呼び出すようにコードを変更します。

次のステップ

• Google 提供のテンプレート
• クラシック テンプレートの作成
• クラシック テンプレートの実行
• Flex テンプレートをビルドして実行する
• Flex テンプレートのトラブルシューティング