数据沿袭注意事项

本文档提供了有关数据谱系合规性和限制的信息。 数据沿袭是按项目启用的，而不是按系统启用。这意味着，启用 Data Lineage API 后，系统可以根据每个系统的产品级沿袭控制，自动为项目中的多个系统报告沿袭信息。

以下系统支持自动谱系跟踪：

Google Cloud 受支持的系统中的商品级谱系控制
系统 可用的谱系控件
BigQuery、
Cloud Data Fusion		 在项目中启用 Data Lineage API 后，无法配置以将谱系跟踪限制为仅限 Cloud Data Fusion 或 BigQuery。
Cloud Composer Cloud Composer 使用环境级数据源流水线集成控制。系统会自动为所有新的 Cloud Composer 环境启用数据沿袭，前提是这些环境符合相关要求。如需了解详情，请参阅 使用 Dataplex 的数据沿袭。对于现有环境，您可以在环境设置中启用或停用数据谱系集成。
Dataflow Dataflow 作业可以捕获谱系事件并将其发布到 Data Lineage API。 如需了解详情，请参阅在 Dataflow 中使用数据沿袭。
Dataproc Dataproc Spark 作业可以捕获谱系事件并将其发布到 Data Lineage API。 如需了解详情，请参阅数据沿袭与 Dataproc 集成。
Vertex AI 系统会自动为 Vertex AI 工件和参数（例如模型、数据集、流水线模板和组件）启用数据传承。流水线的沿袭包括促使其创建的各种因素，以及之后派生的工件和元数据。 如需了解详情，请参阅跟踪流水线工件的沿袭。

结算影响

在项目中启用 Data Lineage API 后，请查看对结算费用的影响，因为 Data Lineage API 是按项目启用的（如上一部分所述）。

对于 BigQuery Omni，谱系处理会分布到特定区域，费用取决于执行处理的区域。

数据沿袭合规性

  • 数据沿袭会记录与数据移动相关的元数据，但不会捕获数据本身。如需详细了解元数据中包含哪些字段，请参阅数据沿袭信息模型和 Data Lineage API 参考文档。
  • Dataplex 中的数据沿袭功能支持 VPC-SC。
  • Dataplex 不支持使用客户管理的加密密钥来保护收集的谱系元数据。

数据沿袭限制

在谱系图中选择节点后，如果满足以下条件，节点详情侧边栏将为空：

  1. 资源位于其他组织中，或者
  2. 用户不是托管资源的组织的成员。