這份文件提供資料歷程法規遵循和限制的相關資訊。資料沿襲功能是依專案啟用,而非依系統啟用。也就是說,啟用 Data Lineage API 後,系統會根據每個系統的產品層級歷程控制項,自動回報專案中多個系統的歷程資訊。
下列系統支援自動沿襲追蹤:
系統 | 可用的沿襲控制項 |
---|---|
BigQuery、 Cloud Data Fusion |
在專案中啟用 Data Lineage API 後,就無法設定只追蹤 Cloud Data Fusion 或 BigQuery 的沿襲。 |
Cloud Composer | Cloud Composer 使用環境層級的資料沿襲整合控制項。只要符合相關規定,所有新的 Cloud Composer 環境都會自動啟用資料歷程功能。詳情請參閱「 使用 Dataplex Universal Catalog 進行資料歷程追蹤」。如果是現有環境,您可以在環境設定中啟用或停用資料沿襲整合功能。 |
Dataflow | Dataflow 工作可以擷取沿襲事件,並發布至 Data Lineage API。詳情請參閱「在 Dataflow 中使用資料沿襲」。 |
Dataproc | Dataproc Spark 工作可以擷取歷程事件,並發布至 Data Lineage API。詳情請參閱「資料沿襲 Dataproc 整合」。 |
Vertex AI | 系統會自動為 Vertex AI 構件和參數啟用資料沿襲功能,例如模型、資料集、管道範本和元件。管道的歷程包括促成管道建立的因素,以及之後衍生的構件和中繼資料。 詳情請參閱「追蹤管道構件的歷程」。 |
對帳單的影響
在專案中啟用 Data Lineage API 時,請先瞭解對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Dataplex Universal Catalog 定價」。
對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。
資料歷程法規遵循
- 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要瞭解中繼資料包含哪些欄位,請參閱資料沿襲資訊模型和資料沿襲 API 參考資料。
- Dataplex Universal Catalog 的資料歷程功能支援 VPC-SC。
- Dataplex Universal Catalog 無法使用客戶管理的加密金鑰,保護收集到的歷程中繼資料。
資料歷程限制
在沿襲圖中選取節點時,如果出現下列情況,節點詳細資料側邊面板會是空白:
- 資源位於其他機構,或
- 使用者不是資源所屬機構的成員。