データリネージの留意点

このドキュメントでは、データリネージのコンプライアンスと制限事項について説明します。データリネージは、システムごとにではなく、プロジェクトごとに有効になります。つまり、Data Lineage API を有効にすると、各システムのプロダクト レベルのリネージ制御に応じて、プロジェクト内の複数のシステムのネージ情報が自動的にレポートされます。

自動リネージ トラッキングは、次のシステムでサポートされています。

Google Cloud でサポートされているシステムのプロダクト レベルのリネージ制御
システム 利用可能なリネージ制御
BigQuery、
Cloud Data Fusion
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限する構成はありません。
Cloud Composer Cloud Composer は、環境レベルのデータリネージ インテグレーション制御を使用します。データリネージは、要件を満たしている限り、すべての新しい Cloud Composer 環境に対して自動的に有効になります。詳細については、Dataplex Universal Catalog を使用したデータリネージをご覧ください。既存の環境では、環境設定でデータリネージ インテグレーションを有効または無効にできます。
Dataflow Dataflow ジョブはリネージ イベントをキャプチャして、Data Lineage API に公開できます。詳細については、Dataflow でデータリネージを使用するをご覧ください。
Dataproc Dataproc Spark ジョブはリネージ イベントをキャプチャして、Data Lineage API に公開できます。詳細については、データリネージ Dataproc インテグレーションをご覧ください。
Vertex AI データリネージは、Vertex AI のアーティファクトとパラメータ(モデル、データセット、パイプライン テンプレート、コンポーネントなど)に対して、自動的に有効になります。パイプラインのリネージには、パイプラインの作成につながった要素だけでなく、その後派生したアーティファクトやメタデータも含まれます。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。

請求への影響

プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください(詳細については、前のセクションを参照してください)。

BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります。

データリネージのコンプライアンス

  • データリネージはデータ移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルData Lineage API リファレンスをご覧ください。
  • Dataplex Universal Catalog の一部としてのデータリネージは、VPC-SC をサポートしています。
  • Dataplex Universal Catalog には顧客管理の暗号鍵を使用して、収集されたリネージ メタデータを保護する機能はありません。

データリネージの制限事項

リネージグラフでノードを選択すると、次の場合にノード詳細サイドパネルが空になります。

  1. リソースが別の組織に配置されている場合
  2. ユーザーがリソースをホストしている組織のメンバーではない場合