このドキュメントでは、データリネージのコンプライアンスと制限事項について説明します。データリネージは、システムごとではなくプロジェクトごとに有効になります。つまり、Data Lineage API を有効にすると、各システムのプロダクト レベルのリネージ制御に応じて、プロジェクト内の複数のシステムのリネージ情報が自動的にレポートされます。
自動リネージ トラッキングは、次のシステムでサポートされています。
システム | 利用可能なリネージ制御 |
---|---|
BigQuery、 Cloud Data Fusion |
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限する構成はありません。 |
Cloud Composer | Cloud Composer は、環境レベルのデータリネージ統合制御を使用します。データリネージは、要件を満たしている限り、すべての新しい Cloud Composer 環境に対して自動的に有効になります。詳細については、 Dataplex を使用したデータリネージをご覧ください。既存の環境では、環境設定でデータリネージ統合を有効または無効にできます。 |
Dataproc | Dataproc Spark ジョブはリネージ イベントをキャプチャして、Data Lineage API にパブリッシュできます。詳細については、データリネージ Dataproc の統合をご覧ください。 |
Vertex AI | データリネージは、Vertex AI のアーティファクトとパラメータ(モデル、データセット、パイプライン テンプレート、コンポーネントなど)に対して、自動的に有効になります。パイプラインのリネージには、パイプラインの作成につながった要素だけでなく、その後派生したアーティファクトやメタデータも含まれます。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。 |
請求への影響
プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください(詳細については、前のセクションを参照してください)。
欧州連合(eu)、アジア(asia)、米国(us)などのマルチリージョンの場合および BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります(Data Catalog の料金設定例をご覧ください)。
データリネージのコンプライアンス
- データリネージは、データ移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルと Data Lineage API リファレンスをご覧ください。
- Dataplex の一部としてのデータリネージは、VPC-SC をサポートしています。
- Dataplex には顧客管理の暗号鍵を使用して、収集されたリネージ メタデータを保護する機能はありません。
データリネージの制限事項
リネージ グラフでノードを選択すると、次の場合にノード詳細サイドパネルが空になります。
- リソースが別の組織に配置されているか、
- ユーザーがリソースをホストしている組織のメンバーではない。