排定 Airflow DAG

本文說明如何透過 BigQuery 的「排程」頁面，從 Cloud Composer 3 排定 Airflow 有向無環圖 (DAG) 的執行時間，包括如何手動觸發 DAG，以及如何查看過去 DAG 執行的記錄和記錄檔。

關於在 BigQuery 中管理 Airflow DAG

BigQuery 的「排程」頁面提供相關工具，可排定在 Cloud Composer 3 環境中執行的 Airflow DAG。

您在 BigQuery 中排定的 Airflow DAG 會在專案中的一或多個 Cloud Composer 環境中執行。BigQuery 的「排程」頁面會整合專案中所有 Airflow DAG 的資訊。

在 DAG 執行期間，Airflow 會排定並執行組成 DAG 的個別工作，順序由 DAG 定義。在 BigQuery 的「Scheduling」(排程) 頁面中，您可以查看過去 DAG 執行作業的狀態、瀏覽所有 DAG 執行作業和這些 DAG 執行作業中所有工作的詳細記錄，以及查看 DAG 的詳細資料。

如要進一步瞭解 Airflow 的核心概念，例如 Airflow DAG、DAG 執行作業、工作或運算子，請參閱 Airflow 說明文件的「核心概念」頁面。

如要進一步瞭解 Cloud Composer 環境，請參閱 Cloud Composer 說明文件中的 Cloud Composer 3 總覽頁面。

事前準備

1. Enable the Cloud Composer API.

   Enable the API

2. 確認專案至少有一個 Cloud Composer 3 環境，且至少已上傳一個 DAG 檔案： Google Cloud
• 如要開始使用 Airflow DAG，請按照「在 Cloud Composer 3 中執行 Apache Airflow DAG」指南中的操作說明進行。在本指南中，您將建立具有預設設定的 Cloud Composer 3 環境、將 DAG 上傳至該環境，並確認 Airflow 會執行該 DAG。
• 如需將 Airflow DAG 上傳至 Cloud Composer 3 環境的詳細操作說明，請參閱「新增及更新 DAG」。
• 如需建立 Cloud Composer 3 環境的詳細操作說明，請參閱「建立 Cloud Composer 環境」。

所需權限

如要取得排定 Airflow DAG 執行時間所需的權限，請要求管理員授予您專案的下列 IAM 角色：

• 如要查看 Airflow DAG 及其詳細資料，請執行下列操作： 環境和 Storage 物件檢視者 (roles/composer.environmentAndStorageObjectViewer)
• 如要觸發及暫停 Airflow DAG： 「環境與 Storage 物件使用者」 (roles/composer.environmentAndStorageObjectUser)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這些預先定義角色具備排定 Airflow DAG 時間所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要排定 Airflow DAG 的執行時間，您必須具備下列權限：

• 如要查看 Airflow DAG 及其詳細資料： composers.dags.list, composer.environments.list
• 如要觸發及暫停 Airflow DAG： composers.dags.list, composer.environments.list, composer.dags.execute

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

如要進一步瞭解 Cloud Composer 3 IAM，請參閱 Cloud Composer 說明文件中的「使用 IAM 控管存取權」。

手動觸發 Airflow DAG

手動觸發 Airflow DAG 時，Airflow 會執行一次 DAG，不受 DAG 指定排程的影響。

如要手動觸發所選的 Airflow DAG，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「Scheduling」(排程) 頁面

2. 執行下列其中一項操作：

   • 按一下所選 DAG 的名稱，然後在「DAG details」(DAG 詳細資料) 頁面上，按一下「Trigger DAG」(觸發 DAG)。

   • 在包含所選 DAG 的資料列中，按一下「Actions」欄中的「View actions」more_vert，然後按一下「Trigger DAG」。

查看 Airflow DAG 執行記錄和詳細資料

如要查看所選 Airflow DAG 的詳細資料，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「Scheduling」(排程) 頁面

2. 按一下所選 DAG 的名稱。

3. 在「DAG details」(DAG 詳細資料) 頁面上，選取「Details」(詳細資料) 分頁標籤。

4. 如要查看過去的 DAG 執行作業，請選取「Runs」(執行作業) 分頁標籤。

   1. 選用：根據預設，「執行作業」分頁會顯示過去 10 天的 DAG 執行作業。如要依其他時間範圍篩選 DAG 執行作業，請在「10 days」(10 天) 下拉式選單中選取時間範圍，然後按一下「OK」(確定)。

   2. 選用：如要在所有 DAG 執行作業的清單中顯示其他 DAG 執行作業詳細資料欄，請按一下 view_column「資料欄顯示選項」，然後選取資料欄並按一下「確定」。

   3. 如要查看所選 DAG 執行作業的詳細資料和記錄檔，請選取 DAG 執行作業。

5. 如要查看 DAG 的視覺化圖表和工作依附元件，請選取「Diagram」分頁標籤。

   1. 如要查看工作詳細資料，請在圖表中選取工作。

6. 如要查看 DAG 的原始碼，請選取「程式碼」分頁標籤。

7. 選用：如要重新整理顯示的資料，請按一下「重新整理」。

查看所有 Airflow DAG

如要查看Google Cloud 專案中所有 Cloud Composer 3 環境的 Airflow DAG，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「Scheduling」(排程) 頁面

2. 選用：如要顯示含有 DAG 詳細資料的其他資料欄，請按一下「資料欄顯示選項」view_column，然後選取資料欄並按一下「確定」。

暫停 Airflow DAG

如要暫停所選 Airflow DAG，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Scheduling」頁面。

   前往「Scheduling」(排程) 頁面

2. 執行下列其中一項操作：

   • 按一下所選 DAG 的名稱，然後在「DAG 詳細資料」頁面中，按一下「暫停 DAG」。

   • 在包含所選 DAG 的資料列中，點選「動作」欄中的 more_vert「查看動作」，然後點選「暫停 DAG」。

疑難排解

如需排解 Airflow DAG 相關問題的操作說明，請參閱 Cloud Composer 文件的「排解 Airflow DAG 相關問題」一節。

後續步驟

• 進一步瞭解如何編寫 Airflow DAG。
• 進一步瞭解 Cloud Composer 3 中的 Airflow。