Dataplex でリネージを表示する

このページでは、検出とガバナンスを目的として、Cloud Data Fusion パイプラインによって生成されたデータリネージを、Google Cloud の他のデータ移動とともに表示する方法について説明します。コンソールの [Dataplex] ページでサポートされているデータソースのリネージグラフを表示することも、Data Lineage API を使用して完全なデータリネージ レコードを取得することもできます。

準備

コンソールの [Dataplex] ページで Cloud Data Fusion のリネージグラフを表示できるようにするには、次の手順を行います。

1. サポートされているプラグインのみを使用するデータ パイプラインを作成します。

2. Cloud Data Fusion インスタンスを含むプロジェクトで Data Lineage API を有効にします。

3. Cloud Data Fusion マネージド サービス アカウント、Cloud Data Fusion API サービス エージェントに、データリネージ イベント プロデューサーのロール（roles/datalineage.producer）付与します。このプロセスは、インスタンスを以前のバージョンの Cloud Data Fusion で実行し、RBAC が有効になっている場合は異なります。

   6.10 以降または RBAC なし

   Cloud Data Fusion インスタンスがバージョン 6.10.0 以降を使用している場合、またはインスタンスが以前のバージョンを使用していて RBAC が有効になっていない場合は、次の操作を行います。

   1. Google Cloud コンソールの [IAM] ページに移動します。

      IAM に移動

   2. [Google 提供のロール付与を含める] チェックボックスをオンにします。

   3. Cloud Data Fusion API サービス エージェントのサービス アカウントを選択し、 edit 編集] をクリックします。

   4. [別のロールを追加] をクリックし、[データリネージ イベント プロデューサー] ロールを選択します。

   5. [保存] をクリックします。

   RBAC ありで 6.10 未満

   Cloud Data Fusion インスタンスが 6.10.0 より前のバージョンを使用していて、RBAC が有効になっている場合、サービス アカウントは IAM ページのプリンシパルのリストに表示されません。サービス アカウント名を手動で入力する必要があります。

   必要なロールを付与する手順は次のとおりです。

   1. Google Cloud コンソールの [IAM] ページに移動します。

      IAM に移動

   2. [アクセス権を付与] をクリックします。

   3. [新しいプリンシパル] フィールドに、Cloud Data Fusion API サービス エージェントのサービス アカウントを入力します。datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com 形式を使用します。

      TENANT_PROJECT_ID は、インスタンスのテナント ID に置き換えます。テナント プロジェクト ID を表示するには、[インスタンス] ページに移動し、インスタンスの詳細を表示するインスタンス名をクリックします。

      [インスタンス] に移動

   4. [データリネージ イベント プロデューサー] ロールを選択します。

   5. [保存] をクリックします。

Cloud Data Fusion で Dataplex データリネージを有効にする

Cloud Data Fusion の新しいインスタンスでは、Dataplex データリネージはデフォルトでオフになっています。2024 年 1 月 27 日より前にバージョン 6.8.0 以降でインスタンスを作成した場合は、始める前にの手順を完了すると、デフォルトで有効になります。

インスタンスの作成時に Dataplex データリネージを有効にする

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

既存のインスタンスで Dataplex データリネージを有効または無効にする

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

データ リネージグラフを表示する

すべての Google Cloud サービスにあるエンティティのリネージグラフを表示するには、次の操作を行います。

1. Cloud Data Fusion のインスタンスに移動し、サポートされているプラグインを使用するデータ パイプラインを実行します。

2. コンソールの [Dataplex] ページでリネージグラフを表示し、リネージ情報を表示するアセットを見つけます。

制限事項

Dataplex でリネージを表示する場合は、次の制限があります。

• Dataplex のリネージは、サポートされているプラグインに接続されている BigQuery エンティティがある場合にのみ検出できます。データリネージ グラフが使用可能になるタイミングについて詳しくは、データリネージについてをご覧ください。

• Data Lineage API は、顧客管理の暗号鍵（CMEK）をサポートしていません。

• Cloud Data Fusion は、me-central1 または europe-west12 のロケーションではこの機能をサポートしていません。

• データリネージに関する考慮事項をご確認ください。

次のステップ

• 詳しくはデータリネージをご覧ください。