Dataplex Catalog でデータアセットを検索する

Dataplex Catalog の検索を使用して、BigQuery データセット、Cloud SQL インスタンスなどのデータアセットを検索します。Dataplex カタログでサポートされている Google Cloud アセットの詳細については、サポートされている Google Cloud ソースをご覧ください。

検索範囲

Dataplex Catalog の検索結果は、ソースシステムの対応するリソースに対する権限を考慮します。

たとえば、オブジェクトに対する BigQuery メタデータの読み取りアクセス権を持っている場合、そのオブジェクトは Dataplex Catalog の検索結果に表示されます。BigQuery テーブルにアクセスできるものの、そのテーブルを含むデータセットへのアクセス権がない場合でも、テーブルは Data Catalog の検索で想定どおりに表示されます。

検索結果には、検索が実行されるプロジェクトと同じ VPC-SC 境界に属するリソースのみが含まれます。Google Cloud コンソールを使用する場合、これはコンソールで選択したプロジェクトです。

プロジェクトの VPC Service Controls 境界内のリソースを超えて検索結果の範囲を広げるには、VPC Service Controls の上り（内向き）ルールと下り（外向き）ルールを使用します。これらのルールにより、組織内で限定公開で効率的にデータを交換できます。上り（内向き）ルールと下り（外向き）ルールは、Google Cloud コンソール、または JSON ファイルまたは YAML ファイルを使用して構成できます。次の YAML の例と VPC Service Controls のドキュメントを参照して、ルールを特定の要件に合わせて調整します。

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Dataplex Catalog IAM ロールの詳細については、Dataplex IAM ロールをご覧ください。

検索での再現率の上限

Dataplex Catalog の検索クエリは、完全な再現率を保証するものではありません。後続の結果ページであっても、クエリに一致する結果が返されない場合があります。また、検索クエリを繰り返すと、返される（返されない）結果が変わることがあります。

フィルタ

フィルタを使用すると、検索結果を絞り込むことができます。すべてのフィルタはセクションに分かれています。

• BigQuery、Cloud SQL などのシステム。Dataplex システムにはカスタム エントリが含まれています。
• [アスペクト（タグ）] には、使用可能なすべてのアスペクトが一覧表示されます。
• [プロジェクト] には、使用可能なすべてのプロジェクトが一覧表示されます。
• データベース、データセット、モデル、テーブル、ビュー、サービス、カスタムタイプなどのリソースタイプを記述するタイプ エイリアス。
• [データセット] は BigQuery から取得されます。

複数のセクションのフィルタを組み合わせると、選択したすべてのセクションから 1 つ以上の条件に一致するアセットを見つけることができます。1 つのセクション内で選択した複数のフィルタは、OR 論理演算子を使用して評価されます。

たとえば、次の画像のフィルタの組み合わせについて考えてみましょう（画像をクリックすると拡大できます）。システム BigQuery、型エイリアス table と view、アスペクト My aspect type 1 と My aspect type 2、プロジェクト my-test-project、データセット test_bq_dataset の検索フィルタが選択されています。

Dataplex Catalog は、次のアセットを探します。

• test_bq_dataset の BigQuery テーブル（アスペクト My aspect type 1）
• test_bq_dataset の BigQuery テーブル（アスペクト My aspect type 2）
• test_bq_dataset の BigQuery ビュー（アスペクト My aspect type 1）
• test_bq_dataset の BigQuery ビュー（アスペクト My aspect type 2）

アスペクト値でフィルタ

[アスペクト] フィルタを使用すると、特定のテンプレートを使用してタグ付けされたアセットにクエリを実行できます。[カスタマイズ] メニューを使用すると、結果をさらに絞り込むことや、特定のアスペクト値でフィルタすることが可能です。アスペクト値のフィルタ条件は、そのアスペクト フィールドのデータ型によって異なります。たとえば、datetime フィールドと number フィールドには、特定の日付または範囲を指定できます。

フィルタの可視性

[検索] フィールドの現在のクエリに応じて、[システム]、[型エイリアス]、[プロジェクト]、[データセット] のフィルタが表示されます。

始める前に

データアセットを検索する前に、次の操作を行います。

必要なロール

このセクションでは、データアセットの検索と検索結果へのアクセスに必要なロールと権限について説明します。

ロールの付与の詳細については、アクセスの管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

エントリの検索に必要なロール

エントリを検索するには、検索に使用されるプロジェクトで少なくとも 1 つの Dataplex Catalog IAM ロールが必要です。検索結果に対する権限は、選択したプロジェクトとは別にチェックされます。

検索結果にアクセスするために必要なロール

Dataplex Catalog の検索結果は、ロールに応じてスコープが設定されます。Dataplex Catalog でアセットを検索するには、ソースシステム内の対応するリソースにアクセスする権限が必要です。詳細については、このドキュメントの検索範囲をご覧ください。

たとえば、BigQuery のデータセット、テーブル、ビュー、モデルを検索するには、それらのエントリに対するそれぞれの権限が必要です。詳細については、BigQuery の権限をご覧ください。次のリストに、必要な最小権限を示します。

• テーブルを検索するには、そのテーブルに対する bigquery.tables.get 権限が必要です。
• データセットを検索するには、そのデータセットに対する bigquery.datasets.get 権限が必要です。
• データセットまたはテーブルのメタデータを検索するには、BigQuery メタデータ閲覧者のロール（roles/bigquery.metadataViewer）が必要です。

別の例として、Cloud SQL インスタンス、データベース、スキーマ、テーブル、ビューを検索するには、それらのエントリに対するそれぞれの権限が必要です。詳細については、Cloud SQL のロールと権限をご覧ください。

カスタム エントリを検索するには、Dataplex Catalog 閲覧者のロール（roles/dataplex.catalogViewer）が必要です。

API を有効にする

Enable the Dataplex API.

Enable the API

データアセットを検索する

エントリの詳細を表示する

次のステップ

• Dataplex Catalog の検索構文を把握する。
• Dataplex Catalog の詳細を確認する。
• アスペクトを使用してエントリをメタデータで拡充する方法を学習する。
• エントリを管理してカスタムソースを取り込む方法を確認する。