Apache Beam SDK 向けのパイプラインの基礎知識

Apache Beam は、バッチとストリーミングの両方のデータの並列処理パイプラインを定義するオープンソースの統合モデルです。Dataflow の使用を開始する前に、Apache Beam パイプラインを設計、作成、テストする方法を確認してください。

Apache Beam のリソース

Apache Beam のウェブサイトで、次のドキュメントを入手できます。

  • パイプラインの設計方法 - パイプラインの構造の決定方法、データに適用する変換の選択方法、入力および出力方法の決定方法についてご紹介します。

  • パイプラインの作成方法 - Beam SDK のクラスと必要な手順を使用してパイプラインを作成するメカニズムについて説明します。

  • パイプラインのテスト方法 - パイプラインをテストするためのおすすめの方法についてご紹介します。