Dataflow 專案監控資訊主頁

Dataflow 網頁監控介面包含資訊主頁，可監控專案層級的 Dataflow 工作。圖表會顯示一個專案中所有工作的資料。

前往資訊主頁

資訊主頁可協助您執行下列工作：

  • 偵測並找出配額錯誤的來源。
  • 偵測工作中的異常水平自動調度資源。
  • 找出執行速度緩慢或停滯的串流工作。

這個資訊主頁會使用 Cloud Monitoring 存取 Dataflow 工作指標。如要自訂圖表中顯示的資訊，請使用 Metrics Explorer。

功能

這個資訊主頁包含下列功能：

  • 使用規則運算式，選擇要在資訊主頁中顯示哪些工作。
  • 從個別圖表存取工作詳細資料頁面。
  • 自訂資訊主頁小工具和圖表。

必要的角色

如要取得查看圖表資料所需的權限，請要求管理員授予您「Monitoring 檢視者」 (roles/monitoring.viewer) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色具備 monitoring.timeSeries.list 權限，這是查看圖表資料的必要權限。

您或許還可透過自訂角色或其他預先定義的角色取得這項權限。

存取資訊主頁

如要存取資訊主頁，請按照下列步驟操作：

  1. 登入 Google Cloud 控制台。
  2. 選取 Google Cloud 專案。
  3. 開啟導覽選單。
  4. 在「Analytics」(數據分析) 中，按一下「Dataflow」(資料流程)。

  5. 在 Dataflow 導覽選單中，按一下「Monitoring」(監控)。

    前往資訊主頁

資訊主頁指標

根據預設，資訊主頁會顯示下列時間序列圖表。如要進一步瞭解顯示的指標，請參閱「作業指標」。

下列圖表適用於批次和串流工作：

  • 執行中的工作：顯示專案中正在執行的工作數量。這張圖表會顯示專案中一段時間內的整體 Dataflow 活動。
  • 各工作的 worker 數量 (前 25 名)。顯示 25 個最平行化工作的目前工作站計數。這張圖表有助於瞭解資源分配情形，並找出工作負載較高的工作。您也可以查看作業是否出現非預期的擴充行為。
  • vCPU 總數。顯示專案中所有工作目前使用的虛擬 CPU (vCPU) 總數。vCPU 總數會影響 Compute Engine 配額。
  • 每個工作的 vCPU 數量 (前 25 名)。顯示耗用最多 vCPU 資源的 25 項工作。這張圖表會醒目顯示可能費用高昂的工作。
  • vCPU 總數。顯示專案中使用的 vCPU 匯總數。這張圖表提供工作所耗用 Compute Engine 資源的高階檢視畫面。
  • 超過配額限制所造成的錯誤。回報已達到 Dataflow 配額或 Compute Engine 配額的所有執行個體。這張圖表有助於找出潛在的工作失敗或擴充速度變慢問題。

下列圖表適用於串流工作：

  • 平均系統延遲時間。顯示系統延遲時間的平均值，反映資料通過來源階段時的典型延遲時間。這個圖表可指出潛在的輸入瓶頸。使用這張圖表找出串流工作，這些工作在資料顯示於來源和資料寫入所有接收器之間，出現異常延遲。
  • 系統延遲時間最長的前 25 項工作。顯示系統延遲時間最長的 25 個串流管道，也就是資料處理或等待處理的時間最長。這張圖表可指出潛在的即時處理瓶頸。
  • 各階段資料浮水印延遲時間 (更新間隔) 前 25 名的作業。顯示浮水印延遲時間最長的 25 項串流工作。階段的浮水印延遲是指階段收到的最新事件時間與浮水印之間的差異。這張圖表可指出每個階段的潛在瓶頸。使用這張圖表找出可能速度緩慢或停滯的串流工作。詳情請參閱「排解工作緩慢或停滯的問題」。
  • 依 SECU 使用量排序的前 25 項工作。顯示耗用最多 Streaming Engine 運算單元的 25 項串流工作。使用這張圖表，評估採用資源型帳單的串流工作費用和強度。
  • 使用者處理延遲時間 (各階段) 最長的前 25 項工作。顯示 25 個串流工作，其中處理階段中使用者定義的程式碼耗時最長。使用這張圖表找出應用程式邏輯中潛在的效能瓶頸。
  • 最高待處理位元組數 (前 25 名)。顯示 25 個串流工作，這些工作在任何階段都有大量未處理的待處理資料。這張圖表可指出潛在的輸入超載或處理速度緩慢問題。

如要進一步瞭解如何使用圖表，請參閱「探索圖表資料」。

自訂資訊主頁

您可以自訂資訊主頁內容和圖表顯示的資訊。編輯資訊主頁時，系統會建立新的自訂資訊主頁。

這個資訊主頁會使用 Cloud Monitoring 存取 Dataflow 工作指標。使用 Cloud Monitoring 工具自訂圖表。

  1. 開啟資訊主頁，然後按一下「自訂資訊主頁」。
  2. 修改資訊主頁。
  3. 按一下「儲存」，然後按一下「查看自訂資訊主頁」。

建立自訂資訊主頁後，如要返回預設資訊主頁，請在「資訊主頁」選單中選取「預先定義」。

如要瞭解如何將自訂指標圖表新增至資訊主頁，請參閱「自訂 Dataflow 監控資訊主頁」。

疑難排解

本節提供常見問題的疑難排解操作說明

未提供資料

開啟資訊主頁時，一或多張圖表會顯示以下訊息：

No data is available for the selected time frame.

如果圖表涵蓋的時間範圍沒有任何資料，系統就會顯示這則訊息。如要解決這個問題，請變更或擴大時間範圍。

如要變更顯示的時間範圍，請在圖表上按一下「探索資料」，然後使用時間範圍選取器。

無法還原已刪除的小工具

從資訊主頁移除小工具後，系統會建立自訂資訊主頁。 建立自訂資訊主頁後，如要返回預設資訊主頁，請在「資訊主頁」選單中選取「預先定義」。

無法查看圖表

如要查看圖表資料，您必須具備 monitoring.timeSeries.list 權限。詳情請參閱必要角色。

後續步驟