資料歷程考量事項

這份文件提供資料歷程符合性和限制的相關資訊。資料系譜是依專案而非系統啟用。也就是說,啟用 Data Lineage API 後,系統會根據每個系統的產品層級歷程控制,自動回報專案中多個系統的歷程資訊。

下列系統支援自動追蹤血統:

Google Cloud 支援系統中的產品層級沿革控制項
系統 可用的系統樹控制項
BigQuery、
Cloud Data Fusion
在專案中啟用 Data Lineage API 時,無法設定只追蹤 Cloud Data Fusion 或 BigQuery 的沿革。
Cloud Composer Cloud Composer 會使用環境層級資料系譜整合控制項。只要符合相關規定,系統就會為所有新的 Cloud Composer 環境自動啟用資料歷程。詳情請參閱「 Dataplex 通用目錄中的資料系譜」。對於現有環境,您可以在環境設定中啟用或停用資料沿革整合。
Dataflow Dataflow 工作可以擷取沿革事件,並發布至 Data Lineage API。詳情請參閱「在 Dataflow 中使用資料沿革」。
Dataproc Dataproc Spark 工作可以擷取歷程事件,並發布至 Data Lineage API。詳情請參閱「資料血統 Dataproc 整合」。
Vertex AI 系統會自動為 Vertex AI 構件和參數啟用資料沿革,例如模型、資料集、管道範本和元件。管道的歷程包含建立管道時的因素,以及之後衍生的構件和中繼資料。詳情請參閱「追蹤管道構件的歷程」。

帳單影響

在專案中啟用 Data Lineage API 時,請查看這項功能對帳單費用的影響,因為 Data Lineage API 是依專案啟用 (詳情請參閱上一節)。

在 BigQuery Omni 中,系統會將沿革處理作業分配至特定區域,費用則取決於執行處理作業的區域。

資料歷程法規遵循

  • 資料沿革會記錄資料移動相關的中繼資料,但不會擷取資料本身。如要進一步瞭解中繼資料中包含哪些欄位,請參閱「資料沿革資訊模型」和「資料沿革 API 參考資料」。
  • Dataplex 通用目錄中的資料沿革可支援 VPC-SC。
  • Dataplex 通用目錄無法使用客戶管理的加密金鑰來保護擷取的歷程中繼資料。

資料歷程限制

在沿革圖中選取節點時,如果發生下列情況,節點詳細資料側邊面板會為空白:

  1. 資源位於其他機構,或
  2. 使用者並非託管資源的機構成員。