工作流程排程解決方案

本節說明可用於排定工作流程時間的 Google Cloud 選項。

Dataproc Workflow 範本

Dataproc 工作流程範本提供靈活易用的工作流程管理與執行機制。工作流程範本是一種可重複使用的工作流程設定，定義了一張工作圖，其中含有要在哪裡執行工作的相關資訊。

Cloud Scheduler

Cloud Scheduler 是全代管的企業級 Cron 工作排程器。無論是批次工作、大數據工作，還是雲端基礎架構的相關作業，幾乎任何工作都能交由這項工具輕鬆排程。這項功能提供簡單的排程功能 (例如每日或每小時)，不需要編寫程式碼。

優點：

• 可根據熟悉的 cron 運算式，以時間為依據執行工作流程範本的例項化程序

• 無需編寫程式碼

教學課程：使用 Cloud Scheduler 的工作流程

Cloud Functions

Cloud Run functions 是一個簡易運算解決方案，可讓您建立獨立的單一用途函式來回應雲端事件，而不需要管理伺服器或執行階段環境。您可以透過 Cloud Run 函式啟動 Workflow，以回應 Pub/Sub 事件或 Cloud Storage 中的檔案變更。對於需要計算時間參數的工作流程，您可以搭配使用 Cloud Run functions 和 Cloud Scheduler。

優點：

• 可因應資料事件 (例如 Cloud Storage 中的新檔案或 Pub/Sub 事件) 建立工作流程例項。

• 使用 Dataproc Go、Node.js 或 Python 用戶端程式庫，只需編寫少量程式碼

• 動態產生工作流程和工作流程參數

教學課程：使用 Cloud Run 函式的工作流程

Cloud Composer

Cloud Composer 是代管式 Apache Airflow 服務，可用於建立、安排、監控及管理工作流程。

優點：

• 支援以時間和事件為準的排程

• 使用運算子簡化對 Dataproc 的呼叫

• 動態產生工作流程和工作流程參數

• 建立涵蓋多項 Google Cloud 產品的資料流程

教學課程：使用 Cloud Composer 的工作流程