Data Catalog を使用している場合は、このドキュメントに記載されている手順に沿って、Data Catalog のコンテンツと使用状況を Dataplex Universal Catalog に移行できます。
カタログの使用が初めての場合は、Dataplex Universal Catalog をデフォルトのカタログ エクスペリエンスとして構成して、まず Dataplex Universal Catalog から始めます。
このドキュメントは、データ管理者とデータ スチュワードを対象としています。
Dataplex Universal Catalog には、統合されたウェブ インターフェースと API があります。Dataplex Universal Catalog に移行すると、既存および将来のワークロードとユーザーは、強化された機能と性能のメリットを享受できます。詳細については、Dataplex Universal Catalog のデータカタログの管理についてをご覧ください。
Dataplex Universal Catalog と Data Catalog の比較については、Dataplex Universal Catalog と Data Catalog の比較をご覧ください。
移行を開始する前に、Dataplex Universal Catalog でサポートされていないメタデータ管理機能を確認してください。
移行の概要
Google Cloud コンソールの [Dataplex への移行の管理] ページには、移行を管理するための単一のアクセス ポイントがあります。
このセクションでは、さまざまな移行シナリオと、各シナリオの移行プロセスの概要について説明します。
Data Catalog にカスタム メタデータがない場合、または Data Catalog を使用したことがない場合
Data Catalog を使用しているときに、タグ、タグ テンプレート、カスタム エントリ、エントリ グループなどのカスタム メタデータがない場合、または Data Catalog を使用したことがない場合は、デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定して移行を完了します。
Data Catalog のカスタム メタデータまたはプログラムによるワークロードがある場合
カスタム メタデータ（タグ、タグ テンプレート、カスタム エントリ、エントリ グループなど）で Data Catalog を使用している場合、Dataplex Universal Catalog は、このカスタム メタデータを read-only として自動的にインポートできます。この機能を有効にするには、準備フェーズで説明されているように構成を変更する必要があります。
2 つ目のフェーズはアップグレード フェーズです。このフェーズでは、カスタム メタデータのアクティブな状態（read-write）が Dataplex Universal Catalog に移動されます。このフェーズでは、Dataplex Universal Catalog を操作するプログラムによるワークロード（API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドなど）も更新する必要があります。
移行プロセスの各フェーズについて詳しく説明します。
準備フェーズ: Data Catalog コンテンツを Dataplex Universal Catalog で
read-onlyとして同時に使用できるように、必要な構成タスクを実行します。このフェーズでは、Data Catalog はメタデータ コンテンツの信頼できるソースのままです。準備フェーズには、次のタスクが含まれます。
- Data Catalog の非公開タグ テンプレートを公開に更新します。
- タグ テンプレートとタグを有効にして、Dataplex Universal Catalog でメタデータを同時に利用できるようにします。
- カスタム メタデータに Dataplex Universal Catalog の IAM 権限を構成します。
詳細については、準備フェーズをご覧ください。
アップグレード フェーズ: カタログの使用状況とカスタム メタデータのアクティブ状態（
read-write）を Dataplex Universal Catalog に移動します。アップグレード フェーズには、次のタスクが含まれます。
- デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定します。
Data Catalog のカスタム メタデータを Dataplex Universal Catalog にアップグレードします。
タグ テンプレートとタグを有効にしてから、カスタム メタデータをアップグレードするまで 48 時間以上待つ必要があります。この時間は内部処理に必要です。
プログラマティック ワークロードを更新します。
アップグレード フェーズが完了すると、Dataplex Universal Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
詳細については、アップグレード フェーズをご覧ください。
必要なロール
Data Catalog から Dataplex Universal Catalog に移行するために必要な権限を取得するには、リソースに次の IAM ロールを付与します。
非公開タグ テンプレートを公開に更新する: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、非公開タグ テンプレートを公開に更新するために必要な
datacatalog.tagTemplates.update権限が含まれています。Dataplex Universal Catalog でメタデータを同時に利用できるように、公開タグ テンプレートとタグを有効にする: DataCatalog 移行構成の管理者（
roles/datacatalog.migrationConfigAdmin）この事前定義ロールには、タグ テンプレートとタグを有効にするために必要な
datacatalog.migrationConfig.set権限が含まれています。デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定する: DataCatalog 移行構成の管理者（
roles/datacatalog.migrationConfigAdmin）この事前定義ロールには、デフォルトのカタログ UI エクスペリエンスを設定するために必要な
datacatalog.migrationConfig.set権限が含まれています。Data Catalog の公開タグ テンプレートを Dataplex Universal Catalog にアップグレードする: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、公開タグ テンプレートのアップグレードに必要な
datacatalog.tagTemplates.update権限が含まれています。Data Catalog エントリ グループを Dataplex Universal Catalog にアップグレードする: DataCatalog EntryGroup オーナー（
roles/datacatalog.entryGroupOwner）この事前定義ロールには、エントリ グループのアップグレードに必要な
datacatalog.entryGroups.update権限が含まれています。
ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールを使用して取得することもできます。
準備段階
このフェーズでは、Data Catalog メタデータ コンテンツを Dataplex Universal Catalog の read-only モードで同時に利用できるようにするタスクが含まれます。
準備フェーズで留意すべき主なポイントは次のとおりです。
- Data Catalog は、カスタム メタデータの信頼できるソースであり続けます。
- Dataplex Universal Catalog の [検索] ページは、デフォルトで Data Catalog 検索を参照します。これには Data Catalog メタデータのみが含まれ、Dataplex Universal Catalog メタデータは含まれません。
- 準備段階が完了するまで、Dataplex Universal Catalog 検索に Data Catalog の公開タグ テンプレートとタグがすべて含まれない場合があります。
Dataplex Universal Catalog で Data Catalog メタデータを同時に利用可能にする方法を学習する
Data Catalog のカスタム エントリ グループとそのエントリは、Dataplex Universal Catalog で read-only として同時に使用できます。準備フェーズで公開タグ テンプレートとタグを有効にすると、そのコンテンツは Dataplex Universal Catalog で read-only として同時に使用できるようになります。
次のテーブルに、Data Catalog リソースが Dataplex Universal Catalog で同時に使用可能になった場合の、Data Catalog リソースと Dataplex Universal Catalog リソースのマッピングを示します。
| Data Catalog リソース | 対応する Dataplex Universal Catalog リソース | 説明 |
|---|---|---|
| タグ テンプレート | アスペクト タイプ（グローバル） | Data Catalog のタグ テンプレートはリージョン リソースです。タグ テンプレートを有効にすると、そのコンテンツは Dataplex Universal Catalog でグローバル アスペクト タイプとして同時に使用できるようになります。これは、タグとタグ テンプレート間のリージョン間参照を保持するためです。グローバル アスペクト タイプの定義は、すべての Google Cloud リージョンに複製されます。
|
| タグ | オプションのアスペクト | タグ テンプレートを有効にすると、そのタグは Dataplex Universal Catalog でオプションのアスペクトとして同時に使用できるようになります。詳細については、アスペクトのカテゴリをご覧ください。 |
| エントリ グループ | エントリ グループ | システム エントリのエントリ グループは、Dataplex Universal Catalog でプロジェクトごと、リージョンごとに設定されます。Data Catalog で作成されたエントリ グループは、Dataplex Universal Catalog で同時に使用できるようになります。 |
| カスタム エントリ | カスタム エントリ | Data Catalog のすべてのカスタム エントリは、Dataplex Universal Catalog の GenericEntryType のエントリとして同時に使用できるようになります。詳細については、エントリタイプのカテゴリをご覧ください。 |
| システム エントリ（Google Cloud） | システム エントリの必須アスペクト | BigQuery テーブルの Schema など、システム エントリを記述するメタデータは、システム定義のアスペクト タイプの必須アスペクトでキャプチャされます。 |
Data Catalog の非公開タグ テンプレートを公開に更新する
Dataplex Universal Catalog は、非公開アスペクト（非公開タグに対応）のコンセプトをサポートしていません。そのため、非公開タグ テンプレートとタグは、Dataplex Universal Catalog で同時に使用することはできません。Dataplex Universal Catalog で非公開タグ テンプレートとタグを伝播するには、それらを公開に更新する必要があります。
続行する前に、非公開タグ テンプレートの構造を確認し、その構造とメタデータが公開タグの公開設定と一致していることを検証します。
非公開タグ テンプレートとタグを公開に更新する手順は次のとおりです。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[非公開タグ テンプレート] タブをクリックします。
[タグ テンプレートを管理する] をクリックします。
[タグ テンプレート] ページで、更新する非公開タグ テンプレートをクリックします。
[テンプレートの詳細] ページで、[編集] をクリックします。
[公開設定] セクションで、[公開] を選択します。
[更新] をクリックします。
REST
非公開タグ テンプレートを公開に更新するには、tagTemplates.patch メソッドを使用します。
公開タグ テンプレートとタグをオプトインして、Dataplex Universal Catalog でメタデータを同時に利用できるようにする
オプトインすると、Data Catalog の公開タグ テンプレートとタグのコンテンツは、 Google Cloud 組織またはプロジェクト全体で Dataplex Universal Catalog に自動的かつ継続的に伝播されます。Data Catalog の公開タグ テンプレートとタグは、それぞれ公開アスペクト タイプとアスペクトとして Dataplex Universal Catalog に伝播されます。グローバル アスペクト タイプの定義は、すべての Google Cloud リージョンに複製されます。
公開タグ テンプレートとタグをオプトインする手順は次のとおりです。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[オプトイン] タブをクリックします。
[オプトインする] をクリックします。
確認ダイアログで表示されたテキストを入力し、[確認] をクリックします。
REST
タグ テンプレートとタグをオプトインするには、setConfig メソッドを使用します。
Google Cloud 組織とプロジェクトの両方で、[オプトインを取り消す] をクリックして、最初に提供されたオプトインを取り消すことができます。オプトインを取り消すと、Data Catalog のタグ テンプレートとタグを Dataplex Universal Catalog に伝播するプロセスが停止します。オプトイン プロセスで作成されたが Dataplex Universal Catalog にアップグレードされていない Dataplex Universal Catalog のアスペクト タイプとアスペクトは削除されます。削除プロセスには最長で 12 時間ほどかかることがあります。
カスタム メタデータに Dataplex Universal Catalog の IAM 権限を構成する
Data Catalog のタグ テンプレートとエントリ グループを表す Dataplex Universal Catalog のアスペクト タイプとカスタム エントリ グループは、元の Data Catalog IAM 権限を継承しません。これらのアスペクト タイプとカスタム エントリ グループの Dataplex Universal Catalog IAM 権限を手動で構成する必要があります。
たとえば、伝播されたアスペクト タイプ（Data Catalog タグ テンプレートを表す）を使用してアスペクトを作成する場合は、そのアスペクト タイプに必要な IAM 権限を構成する必要があります。同様に、カスタム メタデータを取り込むときに、伝播されたカスタム エントリ グループ内にカスタム エントリを作成するには、そのエントリ グループに必要な IAM 権限を構成する必要があります。
Data Catalog の IAM 権限と Dataplex Universal Catalog の IAM 権限の関係の詳細については、Data Catalog と Dataplex Universal Catalog 間の IAM 権限のマッピングをご覧ください。
アスペクト タイプとカスタム エントリ グループに必要な Dataplex Universal Catalog IAM 権限を構成する手順は次のとおりです。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[Dataplex の IAM 権限] タブをクリックします。
アスペクト タイプの Dataplex Universal Catalog IAM 権限を構成するには、[アスペクト タイプとタグ テンプレート] をクリックします。
Data Catalog から伝播されたタグ テンプレートで、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
エントリ グループの Dataplex Universal Catalog IAM 権限を構成するには、[エントリ グループ] をクリックします。
Data Catalog から伝播されたエントリ グループの場合は、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
REST
アスペクト タイプの Dataplex Universal Catalog IAM 権限を構成するには、aspectTypes.setIamPolicy メソッドを使用します。
エントリ グループの Dataplex Universal Catalog IAM 権限を構成するには、entryGroups.setIamPolicy メソッドを使用します。
アップグレード フェーズ
このフェーズでは、Data Catalog カスタム メタデータのアクティブ状態（read-write）を Dataplex Universal Catalog に移動するタスクが含まれます。
アップグレード フェーズで留意すべき主なポイントは次のとおりです。
- Dataplex Universal Catalog の [検索] ページは、デフォルトで Dataplex Universal Catalog 検索を参照します。
- Dataplex Universal Catalog では、Data Catalog メタデータと Dataplex Universal Catalog メタデータの両方を検出して読み取ることができます。
- Google Cloud コンソールでメタデータを更新すると、ソースにリダイレクトされます。たとえば、Data Catalog タグ テンプレートを更新すると、Data Catalog のタグ テンプレート ページにリダイレクトされます。
デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定する
デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定すると、次のようになります。
Google Cloud コンソールの Dataplex Universal Catalog の [検索] ページに移動すると、Dataplex Universal Catalog（Dataplex Catalog）検索がデフォルトで表示されます。Dataplex Universal Catalog 検索は Dataplex Universal Catalog に対して実行され、Dataplex Universal Catalog で作成されたコンテンツや Data Catalog から取り込まれたコンテンツなど、すべてのメタデータ コンテンツを検索します。
Data Catalog 検索では、Data Catalog コンテンツのみが検索され、Dataplex Universal Catalog コンテンツは検索されません。そのため、Dataplex Universal Catalog 検索を使用することをおすすめします。
ウェブ インターフェースでは、Dataplex Universal Catalog（Dataplex Catalog）に新しいリソースを作成することをおすすめします。たとえば、デフォルトでは [タグ テンプレートを作成する] ではなく [アスペクト タイプを作成する] になり、[エントリ グループを作成する（Data Catalog）] ではなく [エントリ グループを作成する（Dataplex Catalog）] になります。
デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定することは、通常は一方通行のオペレーションです。ただし、Dataplex Universal Catalog では、デフォルトのカタログ UI エクスペリエンスを Data Catalog に戻す場合など、例外的な場合に変更を元に戻すことができます。変更を元に戻すと、Dataplex Universal Catalog で作成されたコンテンツに Data Catalog ウェブ インターフェースからアクセスできなくなります。
デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定する手順は次のとおりです。
コンソール
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[デフォルトのカタログ UI エクスペリエンス] タブをクリックします。
[デフォルトのカタログ UI を Dataplex Catalog に設定する] をクリックします。
REST
デフォルトのカタログ UI エクスペリエンスを Dataplex Universal Catalog に設定するには、setConfig メソッドを使用します。
Data Catalog のカスタム メタデータを Dataplex Universal Catalog にアップグレードする
Data Catalog の公開タグ テンプレート（オプトイン済み）とカスタム エントリ グループは、Dataplex Universal Catalog にアップグレードできます。各タグ テンプレートとカスタム エントリ グループを個別にアップグレードしてください。
アップグレード プロセスの概要は次のとおりです。
効果
- リソースのアクティブな状態を Data Catalog から Dataplex Universal Catalog に転送します。アップグレード後にリソースを変更したり現在の状態を確認したりするには、Dataplex Universal Catalog を使用する必要があります。
データの内容とフローへの変更
- Data Catalog でリソースを
read-onlyとしてマークします。 - Dataplex Universal Catalog でリソースを
read-writeとしてマークします。 - このリソースの同時利用を停止します。
- Data Catalog でリソースを
依存関係
- タグ テンプレートをアップグレードすると、そのテンプレートを使用しているタグもすべてアップグレードされます。
- エントリ グループをアップグレードすると、そのグループ内のすべてのエントリもアップグレードされます。
- エントリをアップグレードしても、タグやそれぞれのタグ テンプレートのアップグレード ステータスには影響しません。
アップグレード前にエントリのビジネス コンテキスト（overview、contacts など）を変更するには、Data Catalog API と Dataplex API の両方を使用できます。アップグレード後は、Dataplex API のみを使用する必要があります。
以下では、タグ付けされたカスタム Data Catalog エントリに対して許可されるオペレーションは、関連するカスタム エントリ グループとタグ テンプレートのアップグレード ステータスによって異なることを説明します。
- Data Catalog でタグ テンプレートがアクティブになっている場合は、そのタグ テンプレートを使用してタグを作成できます。タグ テンプレートを Dataplex Universal Catalog にアップグレードした後、そのテンプレートを使用して Data Catalog でタグを作成することはできません。
- Data Catalog タグ テンプレートから伝播されたアスペクト タイプを使用してアスペクトを作成できるのは、タグ テンプレートをアップグレードした後のみです。
Data Catalog のタグ テンプレートとカスタム エントリ グループを Dataplex Universal Catalog にアップグレードする手順は次のとおりです。
コンソール
Data Catalog タグ テンプレートを Dataplex Universal Catalog にアップグレードする前に、オプトインしてから 48 時間以上経過していることを確認してください。この時間は内部処理に必要です。
Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。
[Dataplex Universal Catalog への移行の管理] をクリックします。
[Dataplex にアップグレード] タブをクリックします。
Data Catalog のタグ テンプレートを Dataplex Universal Catalog にアップグレードするには、[アスペクト タイプとタグ テンプレートを表示] をクリックします。
アップグレードするタグ テンプレートを選択します。
[アップグレード] をクリックします。
確認のダイアログで [確認] をクリックします。
Data Catalog カスタム エントリ グループを Dataplex Universal Catalog にアップグレードするには、[エントリ グループを表示] をクリックします。
アップグレードするエントリ グループを選択します。
[アップグレード] をクリックします。
確認のダイアログで [確認] をクリックします。
REST
Data Catalog タグ テンプレートを Dataplex Universal Catalog にアップグレードする前に、オプトインしてから 48 時間以上経過していることを確認してください。この時間は内部処理に必要です。
次に、Data Catalog のタグ テンプレートとカスタム エントリ グループを Dataplex Universal Catalog にアップグレードするには、tagTemplates.patch メソッドを使用します。
アップグレード フェーズが完了すると、Dataplex Universal Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
プログラマティック ワークロードを更新する
Dataplex Universal Catalog には、新しい API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドが付属しています。したがって、Data Catalog をプログラムで使用している既存のワークロードは、Dataplex Universal Catalog に更新する必要があります。Dataplex Universal Catalog のコードサンプルをご覧ください。
プログラマティック ワークロードの更新を、タグ テンプレートやカスタム エントリ グループなどの依存リソースのアップグレードと調整してください。これは、アップグレードによってリソースのアクティブな状態（read-write）が Data Catalog から Dataplex Universal Catalog に移動するために必要です。
次に、依存リソースのアップグレードと調整して、Dataplex Universal Catalog を操作するようにプログラマティック ワークロードを更新するシーケンスの例を示します。
ワークロードが結果整合性を許容できる場合は、ワークロードの
readオペレーションを Dataplex Universal Catalog に移動します。タグ付け
writeオペレーションを実行するワークロードを、対応するタグ テンプレートのアップグレードと調整して Dataplex Universal Catalog に移動します。カスタム取り込み
writeオペレーションを実行するワークロードを、それぞれのカスタム エントリ グループのアップグレードと調整して Dataplex Universal Catalog に移動します。
更新ワークロードと対応するリソースのアップグレードを分離する必要がある場合は、リソースのアップグレード ステータスに基づいて read-write を Data Catalog または Dataplex Universal Catalog にルーティングするロジックをワークロード内に実装することを検討してください。したがって、ワークロードは関連リソースのアップグレード ステータスとは独立して動作します。
次のステップ
- Dataplex Universal Catalog のメタデータ管理の詳細を確認する。
- Dataplex Universal Catalog でリソースを検索する方法を確認する。
- アスペクトを管理してメタデータを拡充する方法を確認する。
- エントリの管理方法とカスタムソースを取り込む方法を確認する。
- Dataplex API リファレンスを参照する。