使用 Dataflow 工作監控介面

使用 Dataflow 執行管道時，可以透過 Dataflow 監控介面查看該工作和任何其他工作。監控介面可讓您查看 Dataflow 工作，並與這些工作互動。

您可以在Google Cloud console中存取 Dataflow 監控介面。

您可以使用監控介面執行下列工作：

  • 查看執行中、已完成和失敗的工作清單。
  • 以圖形表示工作階段和各階段的進度
  • 查看工作指標的圖表，例如資料更新間隔、資源使用率和 I/O 要求。
  • 監控工作的預估費用。
  • 查看管道記錄。
  • 找出可能導致管道延遲的步驟。
  • 找出來源和接收器發生延遲的原因。
  • 瞭解管道錯誤。

監控介面元件

監控介面包含下列視覺化工具和圖表：

專案監控資訊主頁
資訊主頁，可監控專案層級的 Dataflow 工作。
工作清單
所有正在執行的 Dataflow 工作，以及過去 30 天內執行的所有工作清單，並附上狀態、區域、經過時間和其他資訊。
工作圖表
管道的圖示。工作圖也會提供工作摘要、工作記錄，以及管道中每個步驟的相關資訊。
執行作業詳細資料
顯示工作的執行階段、串流工作的資料更新間隔，以及批次工作的 Worker 進度。
工作指標
顯示工作期間指標的圖表。
預估費用
根據資源用量指標估算 Dataflow 工作的費用。
建議
改善工作效能、降低成本及排解錯誤的建議。
自動調度資源
一組圖表，可協助您瞭解串流工作的自動調度資源行為。
管道記錄
管道和 Dataflow 服務發出的記錄。
資料取樣
這項工具可讓您觀察管道每個步驟的取樣資料。

後續步驟