Data Catalog を使用してデータアセットを管理する

Data Catalog は、Bigtable リソースに関するメタデータを自動的にカタログ化する Dataplex の機能です。この機能は、組織による Bigtable データアセットの検索と管理に役立ちます。

以下の Bigtable リソースで、メタデータがBigtable から Data Catalog へ自動的に同期されます。

  • インスタンス
  • クラスタ
  • テーブル（列ファミリーの詳細を含む）

Data Catalog は、Dataplex 内のフルマネージドなメタデータ管理サービスです。技術メタデータとビジネスメタデータの全体像を提供します。また、タグ付けメカニズムも備えています。Data Catalog の詳細やおすすめする理由については、Data Catalog とはをご覧ください。

Bigtable で Data Catalog を使用するメリット

データに関する Data Catalog の情報を使用すると、分析、データの再利用、アプリケーション開発、データ マネジメントを容易に行うことができます。

Data Catalog のエントリは、リソース名での検索や詳細な検索ができます。たとえば、インスタンス名を検索してインスタンスのエントリを検索したり、列ファミリーを検索してテーブルのエントリを検索できます。ファセット検索を使用して、フィルタ適用により検索を絞り込むこともできます。詳細については、Data Catalog でデータアセットを検索して表示するをご覧ください。

データアセットへのタグ付けにより、Bigtable テーブル内の利用可能データを理解してカタログ化することが容易になります。これにより、他の Data Catalog ユーザーがデータを見つけやすく、あるいは検索しやすくなります。さらに、ユーザー自身がさらに大きなデータ資産の一部として検索する際にも役立ちます。タグを使用して、カタログ化されたメタデータに独自のメタデータを追加すると、それらのタグを使用して検索ができます。

Google Cloud のスタートガイド

Data Catalog を使用して Bigtable データアセットの管理を開始するには、次のタスクを行います。

  1. Data Catalog を初めて使用する場合は、API を有効にします。

  2. Data Catalog の Bigtable エントリにアクセスする必要があるプリンシパルに IAM のロールを付与します。

  3. データアセットを検索する方法について、Data Catalog で検索する方法をご覧ください。

  4. メタデータを見つける方法について、Data Catalog の検索構文をご覧ください。

  5. Data Catalog エントリにタグ付けするコンセプトについては、タグとタグ テンプレートをご覧ください。

Bigtable メタデータを検索する方法

Data Catalog を使用して、同期された Bigtable メタデータを検索できます。

標準修飾子に加えて、以下を使用して Bigtable リソースを検索できます。

  • インスタンス

    • Bigtable インスタンス名
    • Bigtable インスタンス ID
    • クラスタのロケーション
    • クラスタ ID

  • テーブル

    • テーブル ID
    • 列ファミリー名
    • Bigtable インスタンス名
    • Bigtable インスタンス ID

必要なロール

Data Catalog で Bigtable リソースを表示、タグ付け、検索するには、異なる権限が必要です。一般に、組織のプリンシパルに、タスクの実行に必要な最小限のロールを付与します。

公開タグと非公開タグを表示する権限

Bigtable リソースの公開タグと非公開タグを表示するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、公開タグと非公開タグの表示に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Bigtable リソースを検索する権限

Data Catalog で Bigtable リソースを検索するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、Bigtable リソースの検索に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Bigtable リソースにタグを付ける権限

Data Catalog の Bigtable リソースにタグを付けるために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、公開タグと非公開タグの追加に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

（省略可）カスタムロールを作成する

カスタムロールを作成して、プロジェクトまたは組織全体で Data Catalog 内のすべての Bigtable メタデータへの完全アクセス権が必要なユーザーに付与することもできます。これにより、カスタムロールのプリンシパルにアクセスする必要があるユーザーまたはサービス アカウントを作成できます。カスタムロールの詳細については、ロールと権限をご覧ください。

ロールに意味のある名前（Bigtable Data Catalog 編集者など）を選び、ロールにアクセスする必要があるプリンシパルのみを割り当てます。設定手順については、カスタムロールの作成をご覧ください。

カスタムロールに次の権限を付与します。

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Data Catalog の権限の詳細については、Google Cloud リソースを検索するロールをご覧ください。Bigtable の権限の詳細については、権限をご覧ください。

既知の制約

次のセクションでは、Data Catalog を使用して Bigtable メタデータを管理する前に注意すべき制約を示します。

ロケーションの制約

組織でロケーションの制約が設定されている場合、Bigtable リソースのメタデータ エントリが Data Catalog と同期されない場合があります。ロケーションの制約を適用する前に作成されたエントリは、Data Catalog によって保持されます。

Data Catalog がリソースを取り込めるようにするには、ロケーション ポリシーに global マルチリージョンを追加することをおすすめします。

列ファミリー名の例外

リクエスト内の列ファミリー名にピリオド（.）が含まれるリクエストは Data Catalog API によって拒否されます。たとえば、列ファミリー名が personal.info の場合などです。

次のステップ