データリネージの留意点

このドキュメントでは、データリネージのコンプライアンスと制限事項について説明します。データリネージは、システムごとではなくプロジェクトごとに有効になります。つまり、Data Lineage API を有効にすると、各システムのプロダクト レベルのリネージ制御に応じて、プロジェクト内の複数のシステムのリネージ情報が自動的にレポートされます。

自動リネージ トラッキングは、次のシステムでサポートされています。

Google Cloud でサポートされているシステムのプロダクト レベルのリネージ制御
システム 利用可能なリネージ制御
BigQuery、
Cloud Data Fusion
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限する構成はありません。
Cloud Composer Cloud Composer は、環境レベルのデータリネージ統合制御を使用します。データリネージは、要件を満たしている限り、すべての新しい Cloud Composer 環境に対して自動的に有効になります。詳細については、 Dataplex を使用したデータリネージをご覧ください。既存の環境では、環境設定でデータリネージ統合を有効または無効にできます。
Dataproc Dataproc Spark ジョブはリネージ イベントをキャプチャして、Data Lineage API にパブリッシュできます。詳細については、データリネージ Dataproc の統合をご覧ください。
Vertex AI データリネージは、Vertex AI のアーティファクトとパラメータ(モデル、データセット、パイプライン テンプレート、コンポーネントなど)に対して、自動的に有効になります。パイプラインのリネージには、パイプラインの作成につながった要素だけでなく、その後派生したアーティファクトやメタデータも含まれます。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。

請求への影響

プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください(詳細については、前のセクションを参照してください)。

欧州連合(eu)、アジア(asia)、米国(us)などのマルチリージョンの場合および BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります(Data Catalog の料金設定例をご覧ください)。

データリネージのコンプライアンス

  • データリネージは、データ移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルData Lineage API リファレンスをご覧ください。
  • Dataplex の一部としてのデータリネージは、VPC-SC をサポートしています。
  • Dataplex には顧客管理の暗号鍵を使用して、収集されたリネージ メタデータを保護する機能はありません。

データリネージの制限事項

リネージ グラフでノードを選択すると、次の場合にノード詳細サイドパネルが空になります。

  1. リソースが別の組織に配置されているか、
  2. ユーザーがリソースをホストしている組織のメンバーではない。