このドキュメントでは、アスペクト タイプを作成して管理し、エントリにアスペクトをアノテーションとして追加する方法について説明します。
Dataplex Universal Catalog は、一連のアスペクトでエントリを記述します。アスペクトとアスペクト タイプを使用することで、追加のメタデータでエントリを記述できます。
詳細については、Dataplex Universal Catalog のデータカタログの管理についてをご覧ください。
アスペクト
アスペクトを使用すると、エントリ内のメタデータをキャプチャできます。エントリにアスペクトを追加すると、アセットを使用する必要があるユーザーにわかりやすいコンテキストを提供できます。アスペクトを使用して、ビジネス メタデータ(データ分類など)と技術メタデータ(スキーマなど)を保存できます。
アスペクトは、個別のリソースではなく、エントリ リソースの一部とみなされます。アスペクトを変更する場合は、アスペクトを含むエントリを変更する必要があります。
エントリの説明にはエントリレベルで、エントリ内の列の説明には列レベルでアスペクトを指定できます。
すべてのアスペクトは、アスペクト タイプのインスタンスです。アスペクト タイプは、アスペクトのテンプレートを定義します。すべてのアスペクト タイプには、一連のフィールドが含まれています。アスペクトを作成するときに、これらのフィールドの値を指定する必要があります。
特定のエントリには、アスペクト タイプごとに 1 つのアスペクトを関連付けることができます。エントリ列には、アスペクト タイプごとに複数のアスペクトを関連付けることができます。
アスペクトのカテゴリ
アスペクトは次のカテゴリに分類されます。
必須アスペクト: エントリの作成時に必須のアスペクト。このようなアスペクトは、特定のエントリのエントリタイプによって定義されます。エントリタイプに属するすべてのエントリには、そのエントリタイプで定義されているすべての必須アスペクトが常に存在する必要があります。
Dataplex Universal Catalog は、システム エントリに必要なアスペクト(スキーマなど)を管理します。
次の点にご注意ください。
必須アスペクトはエントリにのみ関連付けることができ、エントリの列には関連付けられません。
エントリから必須アスペクトを削除することはできません。
システム エントリの必須アスペクトは読み取れますが、変更はできません。
オプションのアスペクト: オプションのアスペクトは、エントリまたはエントリ列に関連付けることができます。オプションのアスペクトは、エントリの作成時に入力するか、後でエントリを更新して入力できます。
オプションのアスペクトは、入力した後に削除できます。
アスペクト タイプ
アスペクト タイプは、アスペクトのテンプレートを提供する再利用可能なリソースです。
アスペクト タイプのカテゴリ
アスペクト タイプは次のカテゴリに分類されます。
カスタム アスペクト タイプ: Dataplex Universal Catalog で作成するアスペクト タイプ。
システム アスペクト タイプ: Dataplex Universal Catalog が指定、使用、管理するアスペクト タイプ。
システム アスペクト タイプは、再利用可能と制限付きにさらに分類されます。次の表に、システム アスペクト タイプのカテゴリと、各カテゴリに Dataplex Universal Catalog が提供するアスペクト タイプのリストを示します。
システム アスペクト タイプのカテゴリ 説明 Dataplex Universal Catalog が提供するアスペクト タイプ 再利用可能なシステム アスペクト タイプ これらのアスペクト タイプを使用して、アスペクトを作成または変更できます。 contacts
data-quality-scorecard
generic
overview
schema
usage
制限付きシステム アスペクト タイプ これらのアスペクト タイプは Dataplex Universal Catalog によって管理されます。
これらのアスペクト タイプではアスペクトを読み取ることができますが、アスペクトの作成や編集はできません。以下を含みます(ただしこれらに限定されません)。 analytics-hub
aspecttype-aspect
bigquery-dataset
bigquery-table
cloudsql-database
cloudsql-instance
cloudsql-table
entrygroup-aspect
entrytype-aspect
sensitive-data-protection-profile
storage
storage-bucket
storage-folder
カスタム アスペクト タイプは、グローバルまたはリージョンにできます。カスタム アスペクト タイプは、特定のリージョン ロケーションで、またはグローバル リソースとして作成できます。
グローバル アスペクト タイプは、任意のリージョンのエントリのアスペクトを作成するために使用されます。グローバル アスペクト タイプのコンテンツは、すべてのリージョンに複製されます。リージョン アスペクト タイプは、同じリージョン内のエントリのアスペクトを作成するために使用されます。
アスペクト タイプのロケーションは、適用範囲に影響します。詳細については、プロジェクトとロケーションの制約をご覧ください。
システム アスペクト タイプは常にグローバルです。システム アスペクト タイプは、プロジェクト ID 655216118709
の Google マネージド プロジェクトに保存されます。例: projects/655216118709/locations/global/aspectTypes/schema
始める前に
アスペクト タイプとアスペクトを作成し、管理する前に、このセクションで説明するタスクを完了してください。
必要なロール
アスペクト タイプとアスペクトを作成して管理するために必要な権限を取得するには、リソースに対する次の IAM ロールの付与を管理者に依頼してください。
-
アスペクト タイプなど、Dataplex Universal Catalog のメタデータ リソースに対する完全な権限セット: Dataplex Catalog 管理者 (
roles/dataplex.catalogAdmin
) -
アスペクト タイプなど、Dataplex Universal Catalog でメタデータ リソースを作成、管理する: Dataplex Catalog 編集者 (
roles/dataplex.catalogEditor
) - カスタム アスペクト タイプに対するすべての権限(アスペクト タイプを使用してエントリを作成または編集する権限を除く): Dataplex アスペクト タイプ オーナー(
roles/dataplex.aspectTypeOwner
) - アスペクト タイプとそれに関連付けられた IAM ポリシーを表示する: Dataplex Catalog 閲覧者 (
roles/dataplex.catalogViewer
) - アスペクト タイプを使用して、対応するアスペクトを持つエントリを作成および変更する: Dataplex アスペクト タイプ ユーザー (
roles/dataplex.aspectTypeUser
) schema
、overview
、contacts
などのシステム アスペクト タイプのアスペクトを追加する: Dataplex エントリ オーナー(roles/dataplex.entryOwner
)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
詳細については、Dataplex Universal Catalog IAM ロールをご覧ください。
API を有効にする
Dataplex Universal Catalog プロジェクトで Dataplex API を有効にします。
アスペクト タイプを作成する
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[アスペクト タイプとタグ テンプレート] > [カスタム] タブをクリックします。
[アスペクト タイプを作成する(Dataplex Catalog)] をクリックします。
[アスペクト タイプを作成する] ウィンドウで、次のように入力します。
- 省略可: [表示名] フィールドに、アスペクト タイプの名前を入力します。
- [アスペクト タイプ ID] フィールドに、アスペクト タイプの一意の ID を入力します。
- 省略可: [説明] フィールドに、アスペクト タイプの説明を入力します。
- [ロケーション] フィールドで、アスペクト タイプのロケーションを選択します。作成後にアスペクト タイプのロケーションを変更することはできません。
省略可: アスペクト タイプのテンプレートを定義します。
[テンプレート] セクションで、[フィールドを追加] をクリックします。[新規フィールド] セクションに、次の情報を入力します。
- [名前] フィールドに名前を入力します。
- 省略可: [表示名] フィールドに表示名を入力します。
- 省略可: [説明] フィールドに説明を入力します。
[型] フィールドで、フィールドのデータ型を選択します。選択内容に応じて、次のフィールドとオプションが表示されます。
データ型として [テキスト] を選択した場合は、次の手順を行います。
- [テキスト型] フィールドで、テキストの型を選択します。
- [テキスト値] フィールドに、テキスト フィールドのヒントを指定します。これを行うには、[値を追加] をクリックしてヒントを入力します。テキスト フィールドには複数のヒントを追加できます。
- [完了] をクリックします。
データ型として [列挙型] を選択した場合は、列挙値を追加します。
- [列挙値を追加] をクリックします。
- [値] フィールドに列挙値を入力します。複数の列挙値を追加できます。
- [完了] をクリックします。
データ型として [配列] を選択した場合は、[配列項目] セクションで、配列に存在する項目の型を定義します。
- [配列項目を追加] をクリックします。
- [名前] フィールドに、配列項目の名前を入力します。
- 省略可: [表示名] フィールドに、配列項目の表示名を入力します。
- 省略可: [説明] フィールドに、配列項目の説明を入力します。
[型] フィールドで、配列項目のデータ型を選択します。
選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションの他の箇所で説明されているデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションと類似しています。
[完了] をクリックします。
データ型として [マップ] を選択した場合は、[マップ値] セクションで、マップに存在する値の型を定義します。
- [マップ値を追加] をクリックします。
- [名前] フィールドに、マップの名前を入力します。
- 省略可: [表示名] フィールドに、マップの表示名を入力します。
- 省略可: [説明] フィールドに、マップの説明を入力します。
[型] フィールドで、マップのデータ型を選択します。
選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションの他の箇所で説明されているデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションと類似しています。
[完了] をクリックします。
データ型として [記録] を選択した場合は、次のように入力します。
- [レコード ID] フィールドに、他のレコード フィールドがこのレコードを参照するために使用できる一意の ID を入力します。このドキュメントのレコード ID フィールドとレコード参照フィールドの使用例をご覧ください。
- 省略可: このテンプレートの別のレコードへの参照を追加する場合は、[レコード参照] フィールドを使用します。アスペクト タイプを作成した後にこの値を変更することはできません。このドキュメントのレコード ID フィールドとレコード参照フィールドの使用例をご覧ください。
[レコード フィールド] セクションでは、複数のネストされたフィールドを持つ複雑なオブジェクトを定義できます。これを行うには、[レコード フィールド項目の追加] をクリックして、次の値を指定します。
[名前] フィールドに、レコード フィールドの名前を入力します。
省略可: [表示名] フィールドに、レコード フィールドの表示名を入力します。
省略可: [説明] フィールドにレコード フィールドの説明を入力します。
[型] フィールドでデータ型を選択します。
選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションで前述したデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションに類似しています。
[完了] をクリックします。
このタイプのアスペクトでフィールドを必須にするには、[必須] を選択します。必須アスペクトとオプションのアスペクトの詳細については、このドキュメントのアスペクトのカテゴリ セクションをご覧ください。
[完了] をクリックします。
複数のフィールドを追加するには、[フィールドを追加] をクリックして、前の手順を繰り返します。
省略可: [ラベル] セクションで、任意のラベルを Key-Value ペアとしてリソースに追加します。
- [ラベルを追加] をクリックします。
- [キー] フィールドにキーを入力します。
- [値] フィールドにキーの値を入力します。
- ラベルをさらに追加するには、[ラベルを追加] をクリックしてこの手順を繰り返します。
[保存] をクリックします。
gcloud
アスペクト タイプを作成するには、gcloud dataplex aspect-types create
コマンドを使用します。
REST
アスペクト タイプを作成するには、aspectType.create
メソッドを使用します。
アスペクト タイプを作成したら、エントリにアスペクトを追加できます。
レコード ID フィールドとレコード参照フィールドの使用例
再帰参照には、[レコード ID] フィールドと [レコード参照] フィールドを使用できます。次の例では、これらのフィールドの使用方法を示します。
次のフィールドを持つ Employee
というアスペクト タイプについて考えてみましょう。
- 名前(タイプ:
Text
) - 開始日(タイプ:
Date & time
) - 申告(タイプ:
Text
) - 現在のアドレス(タイプ:
Record
) - 永続的なアドレス(タイプ:
Record
)
2 つのアドレス フィールド([現在のアドレス] と [永続的なアドレス])は同じデータタイプ Record
です。重複を回避するには、これらのフィールドを定義するときに [レコード ID] と [レコード参照] の値を設定します。
[現在のアドレス] フィールドを定義するときに、レコード ID を address-field
として指定できます。[永続的なアドレス] には、[レコード参照] と同じ値(address-field
)を指定できます。例:
- 名前(タイプ:
Text
) - 開始日(タイプ:
Date & time
) - 申告(タイプ:
Text
) - 現在のアドレス(タイプ:
Record
、レコード ID:address-field
) - 永続的なアドレス(タイプ:
Record
、レコード参照:address-field
)
これにより、別の住所のフィールドを複製する必要がなくなります。
エントリにアスペクトを追加する
アスペクト タイプを作成したら、そのタイプのアスペクトを作成できます。アスペクトはエントリ内に保存されるため、エントリにアスペクトを追加するには、エントリを更新する必要があります。
次の点にご注意ください。
- アスペクトはエントリまたはエントリの列に追加できます。
- 必須アスペクトを編集できるのは、カスタム エントリの場合のみです。必須アスペクトは削除できません。
- カスタム エントリとシステム エントリの両方で、オプションのアスペクトを編集および削除できます。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。
[検索プラットフォームの選択] で、検索モードとして [Dataplex Catalog] を選択します。
アスペクトを追加するエントリを検索し、そのエントリをクリックします。[エントリの詳細] ページが開きます。
エントリにアスペクトを追加する手順は次のとおりです。
- [詳細] タブをクリックします。
- エントリに必須アスペクトまたはオプションのアスペクトを追加するには、[タグとアスペクト] セクションで、該当するカテゴリの
選択したエントリのエントリタイプに必須アスペクトが定義されていない場合、必須アスペクトを追加することはできません。
[追加] をクリックします。 - 追加するアスペクトを検索して選択します。
- [アスペクトを追加] ウィンドウで、フィールドの値を入力します。
- [保存] をクリックします。
エントリの列にアスペクトを追加する手順は次のとおりです。
- エントリの詳細ページで [スキーマ] タブをクリックします。
- アスペクトを追加する列を選択します。
- [アスペクトを追加] をクリックします。
- 追加するアスペクトを検索して選択します。
- [アスペクトを追加] ウィンドウで、フィールドの値を入力します。
- [保存] をクリックします。
gcloud
エントリまたはエントリの列にアスペクトを追加するには、gcloud dataplex entries update
コマンドを使用します。
REST
エントリまたはエントリの列にアスペクトを追加するには、entry.patch
メソッドを使用します。
それぞれのアスペクト タイプとエントリが異なる Google Cloud 組織にあるエントリでアスペクトを作成して使用することはできません。
エントリの既存のアスペクトを管理する
このセクションでは、エントリの既存のアスペクトを更新および削除する方法について説明します。
アスペクトを更新する
オプションのアスペクトは、カスタム エントリとシステム エントリの両方で編集できます。必須アスペクトを編集できるのは、カスタム エントリの場合のみです。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。
[検索プラットフォームの選択] で、検索モードとして [Dataplex Catalog] を選択します。
アスペクトを更新するエントリを検索して、そのエントリをクリックします。
[エントリの詳細] ページが開きます。
[詳細] タブをクリックします。
[タグとアスペクト] セクションで、更新するアスペクトまたはタグを展開し、[
編集] をクリックします。[アスペクトの編集] ウィンドウで、必須フィールドを更新します。
[保存] をクリックします。
gcloud
エントリまたはエントリの列のアスペクトを更新するには、gcloud dataplex entries update
コマンドを使用します。
REST
エントリまたはエントリの列のアスペクトを更新するには、entry.update
メソッドを使用します。
アスペクトを削除する
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。
[検索プラットフォームの選択] で、検索モードとして [Dataplex Catalog] を選択します。
削除するアスペクトを含むエントリを検索して、そのエントリをクリックします。
[エントリの詳細] ページが開きます。
[詳細] タブをクリックします。
[タグとアスペクト] セクションで、削除するアスペクトまたはタグを展開し、
[削除] をクリックします。[確認] をクリックします。
gcloud
エントリのアスペクトを削除するには、gcloud dataplex entries update
コマンドを使用します。
REST
エントリのアスペクトを削除するには、entry.update
メソッドを使用します。
アスペクト タイプを管理する
このセクションでは、アスペクト タイプを表示、更新、削除する方法について説明します。
使用可能なアスペクト タイプとタグ テンプレートのリストを表示する
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[アスペクト タイプとタグ テンプレート] タブをクリックします。
このページでは、使用可能な Dataplex Universal Catalog アスペクト タイプと Data Catalog タグ テンプレートをすべて示します。
カスタム アスペクト タイプとタグ テンプレートを表示するには、[カスタム] タブをクリックします。[カスタム] タブの [カタログソース] 列に、リソースが存在する場所(Dataplex Universal Catalog または Data Catalog)が表示されます。
システム アスペクト タイプを表示するには、[システム] タブをクリックします。
カスタム アスペクト タイプとシステム アスペクト タイプの詳細については、このドキュメントのアスペクト タイプのカテゴリをご覧ください。
省略可: 選択したプロジェクトのアスペクト タイプとタグ テンプレートのリストを表示するには、[カスタム] タブをクリックし、[すべてのプロジェクトから表示] をクリックしてオフに切り替えます。
[すべてのプロジェクトから表示] 切り替えボタンはデフォルトでオンになっています。リストには、選択した組織の Dataplex Universal Catalog リソースと、アクセスできるすべての組織の Data Catalog リソースが含まれます。
gcloud
使用可能なすべてのアスペクト タイプを一覧表示するには、gcloud dataplex aspect-types list
コマンドを使用します。
REST
使用可能なアスペクト タイプをすべて一覧表示するには、aspectTypes.list
メソッドを使用します。
アスペクト タイプまたはタグ テンプレートの詳細を表示する
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[アスペクト タイプとタグ テンプレート] タブをクリックします。
Dataplex Universal Catalog のアスペクト タイプの詳細を表示するには、アスペクト タイプをクリックします。アスペクト タイプの詳細ページが開きます。ここでは、表示名、アスペクト タイプ ID、説明、プロジェクト ID、ロケーション、ラベル、作成日、最終更新日などの詳細にアクセスできます。
- 選択したアスペクト タイプの構造を表示するには、[テンプレート] タブをクリックします。
- 最近作成された関連エントリのリスト(10 件)を表示するには、[サンプル エントリ] タブをクリックします。
- 関連するすべてのエントリを検索するには、[検索結果の関連エントリをすべて表示] をクリックします。このボタンは、関連するエントリが 1 つ以上ある場合にのみ表示されます。
Data Catalog タグ テンプレートの詳細を表示するには、タグ テンプレートをクリックします。Data Catalog でタグ テンプレートの詳細ページが開きます。ここで、表示名、テンプレート ID、プロジェクト ID、ロケーション、公開設定、ラベルなどの詳細にアクセスできます。
gcloud
アスペクト タイプの詳細を取得するには、gcloud dataplex aspect-types describe
コマンドを使用します。
REST
アスペクト タイプの詳細を取得するには、aspectTypes.get
メソッドを使用します。
アスペクト タイプを更新する
アスペクト タイプの表示名、説明、テンプレート フィールド、ラベルを更新できます。テンプレートの既存のフィールドは削除できません。
アスペクト タイプの作成後に、アスペクト タイプの ID とロケーションを更新することはできません。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[アスペクト タイプとタグ テンプレート] タブをクリックします。
更新するアスペクト タイプをクリックします。
[アスペクト タイプの詳細] ページで、[編集] をクリックします。
必要に応じて、表示名、説明、テンプレート フィールド、ラベルを編集します。
省略可: アスペクト タイプのフィールドを非推奨としてマークするには、次の操作を行います。
- [テンプレート] セクションで、フィールドを開きます。
- [非推奨] を選択します。
- [非推奨の理由] フィールドに、選択したフィールドを非推奨にする理由を入力します。
- [完了] をクリックします。
[保存] をクリックします。
gcloud
アスペクト タイプを更新するには、gcloud dataplex aspect-types update
コマンドを使用します。
REST
アスペクト タイプを更新するには、aspectTypes.patch
メソッドを使用します。
アスペクト タイプを削除する
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[アスペクト タイプとタグ テンプレート] タブをクリックします。
削除するアスペクト タイプをクリックします。
[アスペクト タイプの詳細] ページで、[削除] をクリックします。表示されるメッセージを確認します。
gcloud
アスペクト タイプを削除するには、gcloud dataplex aspect-types delete
コマンドを使用します。
REST
既存のアスペクト タイプを削除するには、aspectTypes.delete
メソッドを使用します。
次のステップ
- Dataplex Universal Catalog でデータアセットを検索する方法を確認する。
- エントリの管理方法とカスタムソースを取り込む方法を確認する。
- Dataplex Universal Catalog にメタデータをインポートする方法を確認する。
- Dataplex Universal Catalog のメタデータ管理の詳細を確認する。
- Data Catalog から Dataplex Universal Catalog への移行の詳細を確認する。