Dataflow 說明文件

Dataflow 是可用於執行各種資料處理模式的代管服務。此網站上的文件說明如何使用 Dataflow 部署批次和串流資料處理管道,包括使用服務功能的說明。

Apache Beam SDK 是開放原始碼程式設計模型,可讓您開發批次和串流管道。您可以使用 Apache Beam 程式建立管道,然後在 Dataflow 服務上執行管道。Apache Beam 說明文件為 Apache Beam 程式設計模型、SDK 和其他執行器提供深入的概念資訊和參考資料。

如要瞭解 Apache Beam 的基本概念,請參閱 Beam 導覽 Beam Playground Dataflow 教戰手冊存放區也提供可立即啟動的獨立管道,以及最常見的 Dataflow 用途。

Apache、Apache Beam、Beam、Beam 標誌和 Beam 螢火蟲吉祥物是 Apache 軟體基金會 (Apache Software Foundation) 在美國與/或其他國家/地區的註冊商標。
  • 取得 Gemini 2.0 Flash Thinking 的存取權
  • 每月免費使用 AI API 和 BigQuery 等熱門產品
  • 不會自動收費,也不會要求您一定要購買特定方案

繼續探索超過 20 項一律免費的產品

使用超過 20 項實用的免費產品,包括 AI API、VM 和 data warehouse 等。

透過 Google Cloud Skills Boost 探索自修課程、用途、參考架構和程式碼範例,瞭解如何使用及連結 Google Cloud 服務。
用途
用途

您可以在單一管道中執行高度平行化的工作負載,進而提高效率,並簡化工作流程管理。

串流

用途
用途

透過 Dataflow ML,您可以使用 Dataflow 部署及管理完整的機器學習 (ML) pipeline。使用機器學習模型,透過批次和串流管道執行本機和遠端推論。使用資料處理工具準備資料,以便用於模型訓練及處理模型生成的結果。

機器學習 串流

用途
用途

建立端對端電子商務範例應用程式,將資料從網路商店串流至 BigQuery 和 Bigtable。這個範例應用程式說明瞭導入串流資料分析和即時人工智慧 (AI) 的常見用途和最佳做法。

電子商務 串流

相關影片