使用 Apache Beam 建構管道

Dataflow 以開放原始碼的 Apache Beam 專案為基礎。您可以使用 Apache Beam SDK 建構 Dataflow 管道。本文列出一些資源，協助您開始使用 Apache Beam 程式設計。

開始使用

  • 安裝 Apache Beam SDK： 說明如何安裝 Apache Beam SDK，以便在 Dataflow 中執行管道。

  • 建立 Java 管道：說明如何使用 Apache Beam Java SDK 建立管道，並在 Dataflow 中執行管道。

  • 建立 Python 管道： 說明如何使用 Apache Beam Python SDK 建立管道，並在 Dataflow 中執行管道。

  • 建立 Go 管道：說明如何使用 Apache Beam Go SDK 建立管道，並在 Dataflow 中執行管道。

學習 Apache Beam

您可以透過 Apache Beam 網站上的下列頁面，瞭解 Apache Beam 程式設計。

  • Apache Beam 程式設計指南： 提供使用 Apache Beam SDK 類別建構及測試管道的指南。

  • Apache Beam 導覽： 這份學習指南可協助您熟悉 Apache Beam。 學習單元會附上程式碼範例，供您執行及修改。

  • Apache Beam Playground： 互動式環境，可試用 Apache Beam 轉換和範例，不必在環境中安裝 Apache Beam。

  • 建立管道：說明在 Apache Beam SDK 中使用類別的機制及建構管道的必要步驟。

開發管道

  • 規劃管道：瞭解如何在開始開發程式碼前規劃管道。

  • 開發及測試管道：瞭解開發及測試 Dataflow 管道的最佳做法。

  • 串流管道：瞭解串流管道的重要設計考量，包括視窗、觸發條件和浮水印。

程式碼範例

您可以從 Apache Beam GitHub 使用下列範例，開始建構串流管道：

後續步驟