資料歷程考量事項

這份文件提供資料歷程法規遵循和限制的相關資訊。資料沿襲功能是依專案啟用,而非依系統啟用。也就是說,啟用 Data Lineage API 後,系統會根據每個系統的產品層級歷程控制項,自動回報專案中多個系統的歷程資訊。

下列系統支援自動沿襲追蹤:

中的產品層級沿襲控制項
Google Cloud 支援系統
系統 可用的沿襲控制項
BigQuery、
Cloud Data Fusion
在專案中啟用 Data Lineage API 後,就無法設定只追蹤 Cloud Data Fusion 或 BigQuery 的沿襲。
Cloud Composer Cloud Composer 使用環境層級的資料沿襲整合控制項。只要符合相關規定,所有新的 Cloud Composer 環境都會自動啟用資料歷程功能。詳情請參閱「 使用 Dataplex Universal Catalog 進行資料歷程追蹤」。如果是現有環境,您可以在環境設定中啟用或停用資料沿襲整合功能。
Dataflow Dataflow 工作可以擷取沿襲事件,並發布至 Data Lineage API。詳情請參閱「在 Dataflow 中使用資料沿襲」。
Dataproc Dataproc Spark 工作可以擷取歷程事件,並發布至 Data Lineage API。詳情請參閱「資料沿襲 Dataproc 整合」。
Vertex AI 系統會自動為 Vertex AI 構件和參數啟用資料沿襲功能,例如模型、資料集、管道範本和元件。管道的歷程包括促成管道建立的因素,以及之後衍生的構件和中繼資料。 詳情請參閱「追蹤管道構件的歷程」。

對帳單的影響

在專案中啟用 Data Lineage API 時,請先瞭解對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Dataplex Universal Catalog 定價」。

對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。

資料歷程法規遵循

  • 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要瞭解中繼資料包含哪些欄位,請參閱資料沿襲資訊模型資料沿襲 API 參考資料
  • Dataplex Universal Catalog 的資料歷程功能支援 VPC-SC。
  • Dataplex Universal Catalog 無法使用客戶管理的加密金鑰,保護收集到的歷程中繼資料。

資料歷程限制

在沿襲圖中選取節點時,如果出現下列情況,節點詳細資料側邊面板會是空白:

  1. 資源位於其他機構,或
  2. 使用者不是資源所屬機構的成員。