管理管道
本文件說明如何管理 BigQuery 管道，包括如何排定及刪除管道。
本文件也說明如何在 Dataplex 通用目錄中查看及管理管道中繼資料。
管道由 Dataform 提供動力。
事前準備
- 建立 BigQuery 管道。
- 如要在 Dataplex 通用目錄中管理管道中繼資料，請確認 Google Cloud 專案已啟用 Dataplex API。
必要的角色
如要取得管理管道所需的權限，請要求管理員授予您下列 IAM 角色：
-
如要刪除管道，請按照下列步驟操作：
Dataform 管理員 (
roles/dataform.Admin) 在管道上 -
如何查看及執行管道：
Dataform Viewer (
roles/dataform.Viewer) 在專案中
如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。
如要管理 Dataplex Universal Catalog 中的管道中繼資料，請確認您具備必要的 Dataplex Universal Catalog 角色
如要進一步瞭解 Dataform IAM，請參閱「使用 IAM 控管存取權」。
查看所有管道
如要查看專案中所有管道的清單，請按照下列步驟操作：
前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
在「Explorer」窗格中，按一下 展開「管道」。
查看先前手動執行作業
如要查看所選管道過去的手動執行作業，請按照下列步驟操作：
前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
在「Explorer」窗格中展開專案和「Pipelines」資料夾，然後選取管道。
按一下「執行」。
選用：如要重新整理過去執行作業的清單，請按一下「重新整理」。
設定管道執行失敗的快訊
每個管道都有對應的 Dataform 存放區 ID。每個 BigQuery 管道執行作業都會使用對應的 Dataform 存放區 ID 記錄在 Cloud Logging 中。您可以使用 Cloud Monitoring 觀察 BigQuery 管道執行作業的 Cloud Logging 記錄趨勢，並在所述條件發生時通知您。
如要在 BigQuery 管道執行作業失敗時收到快訊，您可以為對應的 Dataform 存放區 ID 建立以記錄為準的快訊政策。如需操作說明，請參閱「為失敗的工作流程叫用作業設定警報」。
如要找出管道的 Dataform 存放區 ID，請按照下列步驟操作：
前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
在「Explorer」窗格中展開專案和「Pipelines」資料夾，然後選取管道。
按一下「設定」。
管道的 Dataform 存放區 ID 會顯示在「Settings」分頁的底部。
刪除管道
如要永久刪除管道，請按照下列步驟操作：
前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
在「Explorer」窗格中展開專案和「Pipelines」資料夾。找出要刪除的管道。
按一下管道旁的 「View actions」(查看動作)，然後點選「Delete」。
點選「刪除」。
在 Dataplex 通用目錄中管理中繼資料
Dataplex 通用目錄可讓您儲存及管理管道中繼資料。根據預設，Dataplex 通用目錄會提供管道，無須額外設定。
您可以使用 Dataplex 通用目錄，管理所有管道位置中的管道。在 Dataplex 通用目錄中管理管道時，請遵守 Dataplex 通用目錄配額和限制和 Dataplex 通用目錄定價。
Dataplex 通用目錄會自動從管道擷取下列中繼資料：
- 資料資產名稱
- 資料資產父項
- 資料資產位置
- 資料資產類型
- 對應的 Google Cloud 專案
Dataplex Universal Catalog 會將管道記錄為項目，並使用下列項目值：
- 系統項目群組
- 管道的系統項目群組為
@dataform。如要查看 Dataplex Universal Catalog 中的管道項目詳細資料，您必須查看dataform系統項目群組。如需查看項目群組中所有項目清單的操作說明，請參閱 Dataplex Universal Catalog 說明文件中的「查看項目群組詳細資料」一節。 - 系統項目類型
- 管道的系統項目類型為
dataform-code-asset。如要查看管道詳細資料，您必須查看dataform-code-asset系統輸入類型、使用以面向為準的篩選器篩選結果，並將dataform-code-asset面向中的type欄位設為WORKFLOW。然後選取所選管道的項目。如需有關如何查看所選項目類型詳細資料的操作說明，請參閱 Dataplex Universal Catalog 說明文件中的「查看項目類型的詳細資料」。如要瞭解如何查看所選項目的詳細資料，請參閱 Dataplex Universal Catalog 說明文件中的「查看項目詳細資料」一節。 - 系統切面類型
- 管道的系統切面類型為
dataform-code-asset。如要透過切面為資料管道項目加上註解，為 Dataplex Universal Catalog 中的管道提供額外背景資訊，請查看dataform-code-asset切面類型、使用以切面為依據的篩選器篩選結果，並將dataform-code-asset切面中的type欄位設為WORKFLOW。如要瞭解如何使用切面標註項目，請參閱 Dataplex 通用目錄說明文件中的「管理切面並強化中繼資料」。 - 類型
- 資料畫布的類型為
WORKFLOW。您可以使用aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW查詢，在以切面為基礎的篩選器中篩選dataform-code-asset系統輸入類型和dataform-code-asset切面類型的管道。
如要瞭解如何在 Dataplex 通用目錄中搜尋資產，請參閱 Dataplex 通用目錄文件中的「在 Dataplex 通用目錄中搜尋資料資產」。
後續步驟
- 進一步瞭解 BigQuery 管道。
- 瞭解如何建立管道。
- 瞭解如何排定管道。