監控執行作業

本文件說明如何執行下列操作：

• 監控執行記錄檔。
• 查看 Dataform 的記錄檔。
• 設定工作流程叫用失敗的警告。

事前準備

如要監控執行記錄，請務必執行下列操作：

1. 在 Google Cloud 控制台中，前往「Dataform」頁面。

   前往 Dataform

2. 選取或建立存放區。

3. 選取或建立開發工作區。

4. 至少觸發執行作業一次。

必要的角色

如要取得查看執行記錄所需的權限，請要求管理員授予您 workflowInvocations 存放區的 Dataform Editor (roles/dataform.editor) 身分與存取權管理角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

Logs Viewer (roles/logging.viewer) IAM 角色可讓您存取 Cloud Logging 的所有功能，但僅限於讀取權限。如要進一步瞭解適用於 Logging 資料的 Identity and Access Management 權限和角色，請參閱「使用 IAM 控管存取權」。

如要建立及管理記錄警報，請確認您的 IAM 角色包含建立及使用記錄警告政策所需的角色所述的權限。

監控執行記錄

本節說明如何在 Dataform 中查看執行記錄。

您可以查看在存放區中觸發的所有執行作業記錄，以及過去 24 小時內在工作區中觸發的執行作業記錄。

檢查存放區執行記錄

如要查看存放區中觸發的所有執行作業記錄，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「Dataform」頁面。

   前往 Dataform

2. 前往存放區。

3. 按一下「Workflow Execution Logs」(工作流程執行記錄)。

4. 如要查看執行作業的詳細資料，請按一下該執行作業。

5. 如要查看執行作業中的動作詳細資料，請按一下「查看詳細資料」。

檢查 Workspace 執行記錄

如要查看過去 24 小時內在工作區中觸發的最近 1,000 次執行作業的記錄，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「Dataform」頁面。

   前往 Dataform

2. 前往存放區並選取工作區。

3. 在工作區中，按一下「執行作業」。

4. 如要查看執行作業的詳細資料，請按一下該執行作業。

5. 如要查看執行作業中的動作詳細資料，請按一下「查看詳細資料」。

查看 Dataform 的記錄記錄

本節說明如何查看 Dataform 工作流程叫用作業的 Cloud Logging 記錄。

每個 Dataform 工作流程叫用都會使用 Logging 記錄。系統會自動為 Dataform 工作流程叫用啟用記錄功能，這可能會產生記錄計費。詳情請參閱「Dataform 定價」。

查看記錄

• 如要查看記錄，請前往「Logs Explorer」頁面。

  前往「Logs Explorer」

如要瞭解如何在記錄檔探索工具中篩選記錄檔，請參閱「使用記錄檔探索工具查看記錄檔」。

Dataform 記錄會由 Dataform 存放區建立索引。

記錄格式

Dataform 會以以下格式傳送工作流程叫用記錄訊息：

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

記錄內容

Dataform 記錄項目包含的資訊實用，有助於監控及偵錯工作流程叫用作業。

記錄項目包含下列資訊類型：

• receiveTimestamp
• release_config_id
• repository_id
• resource_container
• workflow_invocation_id
• workflow_config_id
• severity：可為 INFO、WARNING 或 ERROR
• terminalState：可為 SUCCEEDED、CANCELED 或 FAILED
• timestamp
• @type

使用 Cloud Monitoring 設定指標和快訊

您可以使用監控功能觀察記錄中的趨勢，並在您指定的條件發生時收到通知。

為監控提供記錄資料，記錄提供以下功能：

• 記錄指標，可用於下列情況：
  • 建立快訊政策，以便在發生變化時收到通知。
  • 建立顯示資料隨時間變化的圖表。
• 記錄式警告，可在記錄中出現特定事件時通知您。

如要進一步瞭解記錄指標和記錄快訊，請參閱「監控記錄」。

如要瞭解如何針對 Dataform 工作流程叫用作業設定以記錄為依據的警告，請參閱「設定工作流程叫用作業失敗的警告」。

設定失敗工作流程叫用作業的警告

本節說明如何使用記錄檔探索工具，針對失敗的 Dataform 工作流程叫用作業設定以記錄檔為依據的快訊。

您可以使用監控功能，觀察 Dataform 工作流程叫用記錄中的趨勢，並在您指定的條件發生時通知您。

每個 Dataform 工作流程叫用都會使用 Logging 記錄。系統會自動為 Dataform 工作流程啟用記錄功能，這可能會產生記錄相關的帳單費用。詳情請參閱「Dataform 定價」。

如要在 Dataform 工作流程叫用失敗時收到快訊，您可以建立以記錄為依據的快訊。

您可以透過 Google Cloud 控制台的「Logs Explorer」頁面，或使用 Monitoring API 建立以記錄為基礎的快訊。本節說明如何使用 Logs Explorer 針對 Dataform 工作流程叫用失敗建立記錄型警示。

如要針對失敗的 Dataform 工作流程叫用作業設定以記錄為依據的快訊，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，依序選取「Logging」(記錄) 和「Logs Explorer」(記錄檔探索工具)。

   前往「Logs Explorer」

2. 在「Query」窗格中，選取「Show query」，然後輸入下列查詢：

       resource.type="dataform.googleapis.com/Repository"
       jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
       jsonPayload.terminalState="FAILED"
    

   這項查詢會提醒您所有失敗的 Dataform 工作流程叫用作業。

   1. 選用：如要依發布版本設定篩選失敗的工作流程叫用，請在查詢中附加以下內容：

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
      

      將 RELEASE_CONFIGURATION_ID 替換為版本設定的 ID。

   2. 選用：如要依工作流程設定篩選失敗的工作流程叫用作業，請在查詢中附加以下內容：

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
      

      將 WORKFLOW_CONFIGURATION_ID 替換為工作流程設定的 ID。

   當與 daily 發布設定和 production 工作流程設定相關的 Dataform 工作流程叫用失敗時，系統會發出以下查詢的警示：

    resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"
    jsonPayload.releaseConfigId="daily"
    jsonPayload.workflowConfigId="production"
   

3. 選用步驟：如要驗證查詢，請在「查詢結果」窗格中使用「執行查詢」。

4. 在「查詢結果」窗格的標頭中，按一下「建立快訊」。如果視窗較窄，建立快訊選項可能會顯示在「動作」選單中。

5. 在「Alert details」窗格中，為警告指定名稱和說明：

   1. 在「快訊名稱」欄位中輸入快訊的名稱。例如：Dataform: workflow failure。

   2. 輸入這則快訊的說明。您也可以加入相關資訊，協助通知收件者診斷問題。以下字串概述快訊的原因：

      Log-based alert in project ${project} detected a failed Dataform workflow.
      

      如要瞭解如何設定格式並調整此欄位的內容，請參閱使用者定義說明文件註解通知。

6. 如要前往下一個步驟，請按一下「Next」。

7. 在「Choose logs to include in the alert」窗格中，按一下「Preview logs」(預覽記錄)，檢查查詢和結果。

   建議您在 Logs Explorer 的「Query」(查詢) 窗格中建立查詢。您在「Query」(查詢) 窗格中建構的查詢也會顯示在此窗格中。

   如有需要，您可以在這個窗格中編輯查詢。如要編輯查詢，請按一下「Preview logs」(預覽記錄) 查看結果。

8. 點選「下一步」。

9. 選取通知時間間隔下限。這個值可讓您控制如果觸發多次，會收到這項快訊的通知幾次。在本例中，請從選項中選取「5 分鐘」。

10. 選用步驟：選取事件自動關閉期限。根據預設，事件自動關閉時間長度會設為 7 天。

11. 點選「下一步」。

12. 為快訊選取一或多個通知管道。這個範例是以電子郵件通知管道為例。

    如果您已設定電子郵件通知管道，可以從清單中選取該管道。如果沒有，請按一下「管理通知管道」，然後新增電子郵件管道。如要瞭解如何建立通知管道，請參閱「建立及管理通知管道」。

13. 按一下 [儲存]。

您現在可以測試以記錄為基礎的警告。如需快訊測試操作說明，請參閱「測試以記錄為依據的快訊政策範例」。

後續步驟

• 瞭解觸發執行動作。
• 瞭解如何使用 Workflows 和 Cloud Scheduler 排定執行時間。
• 瞭解如何使用 Dataform API 設定編譯覆寫值。
• 瞭解 Cloud 稽核記錄和監控。
• 瞭解 記錄功能的定價。