Dataflow は、オープンソースの Apache Beam プロジェクトで構築されています。Apache Beam SDK を使用して Dataflow のパイプラインを構築できます。このドキュメントでは、Apache Beam プログラミングを始める際に役立つリソースを紹介します。
使ってみる
Apache Beam SDK をインストールする: Apache Beam SDK をインストールして、Dataflow でパイプラインを実行する方法を説明します。
Java パイプラインを作成する: Apache Beam Java SDK を使用してパイプラインを作成し、Dataflow でパイプラインを実行する方法を説明します。
Python パイプラインを作成する: Apache Beam Python SDK を使用してパイプラインを作成し、Dataflow でパイプラインを実行する方法を説明します。
Go パイプラインを作成する: Apache Beam Go SDK を使用してパイプラインを作成し、Dataflow でパイプラインを実行する方法を説明します。
Apache Beam について学習する
Apache Beam プログラミングについては、Apache Beam ウェブサイトの次のページをご覧ください。
Apache Beam プログラミング ガイド: Apache Beam SDK クラスを使用してパイプラインを構築およびテストするためのガイダンスを提供します。
Apache Beam のツアー: Apache Beam の理解に役立つ学習ガイドです。学習ユニットには、実行および変更可能なコードサンプルが付いています。
Apache Beam プレイグラウンド: 環境に Apache Beam をインストールせずに Apache Beam の変換とサンプルを試すことができるインタラクティブな環境。
パイプラインを作成する: Apache Beam SDK のクラスと必要な手順を使用してパイプラインを作成するメカニズムについて説明します。
パイプラインを開発する
パイプラインを計画する: コードの開発を始める前に、パイプラインを計画する方法について学びます。
パイプラインを開発してテストする: Dataflow パイプラインの開発とテストのベスト プラクティスについて学びます。
ストリーミング パイプライン: ウィンドウ、トリガー、ウォーターマークなど、ストリーミング パイプラインの設計に関する重要な考慮事項について学びます。
コードの例
Apache Beam GitHub の次の例を使用して、ストリーミング パイプランの構築を開始できます。
- ストリーミング単語抽出 （Java）
- ストリーミング単語数カウント （Python）
streaming_wordcap（Go）