データメッシュを構築する

Dataplex Universal Catalog を使用してデータメッシュアーキテクチャを構築できます。このガイドでは、レイク、ゾーン、アセットなどの Dataplex Universal Catalog 機能を使用してデータメッシュを構築する方法について説明します。

データメッシュとは、ドメインデータオーナー間でデータ所有権を分散する組織的および技術的なアプローチです。複数のオーナーが標準的な方法でデータをプロダクトとして提供し、組織の異なる部分間の通信を促進して、データセットをさまざまなロケーションに分散します。詳しくは、データメッシュアーキテクチャをご覧ください。

目標

このガイドでは、Dataplex Universal Catalog エンティティを使用してデータメッシュアーキテクチャを構築します。

データメッシュのドメインとして機能する Dataplex Universal Catalog レイクを作成します。
各ドメイン内の個々のチームを表すレイクにゾーンを追加し、マネージドデータコントラクトを提供します。
Cloud Storage に保存されているデータにマッピングするアセットをアタッチします。

費用

このドキュメントでは、課金対象である次の Google Cloudコンポーネントを使用します。

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。新規の Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

このドキュメントに記載されているタスクの完了後、作成したリソースを削除すると、それ以上の請求は発生しません。詳細については、クリーンアップをご覧ください。

始める前に

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Make sure that billing is enabled for your Google Cloud project.
Dataplex Universal Catalog API を有効にします。

Dataplex API を有効にする
Dataproc Metastore サービスを作成します。

注: 各 Dataproc Metastore は 1 つの Dataplex Universal Catalog レイクにのみ接続できます。metastore で gRPC を有効にします。

Cloud Storage バケットを作成する

データメッシュのデータアセットを保存するには、Cloud Storage バケットが必要です。

Cloud Storage バケットを作成するには、Cloud Storage バケットを作成するの手順に沿って操作します。この操作を行う際は、次の点に注意してください。

バケットに名前を付けます
[ロケーションタイプ] で [リージョン] を選択し、メニューから [us-central1（アイオワ）] を選択します。

ドメインを作成する

Google Cloud コンソールで、[Dataplex Universal Catalog] ページに移動します。

Dataplex Universal Catalog に移動
[管理] ビューに移動します。
[作成] をクリックして、データメッシュとして機能する新しいレイクを作成します。
[表示名] フィールドに「My data mesh」と入力します。

注: Dataplex Universal Catalog はレイク ID を自動的に生成します。
[リージョン] で us-central1 を選択します。

注: データメッシュ用に選択したリージョンによって、Dataplex Universal Catalog が管理するデータ（関連付けられたアセットは含みません）のロケーションが決まります。Dataplex Universal Catalog が他のサービスにリソースを作成する場合も同じリージョンが使用されますが、アセットに含まれるデータは対象外です。
前に作成して構成した Dataproc Metastore サービスを、関連する metastore として選択します。
[作成] をクリックします。

レイクにゾーンを作成する

Dataplex Universal Catalog レイクを作成してドメインを作成したら、ゾーンを使用して、ドメイン内のマネージドデータコントラクトと個々のチームをホストできます。ゾーンには次の 2 種類があります。

未加工ゾーン: 通常、外部ソースからの任意の形式でデータを Cloud Storage に保存するために使用されます。使用可能になる前に、さらに処理が必要なデータ用として役立ちます。
キュレートされたゾーン: 特定のファイル形式に準拠し、Hive 互換のディレクトリレイアウトで編成する必要がある Cloud Storage の構造化データ用に使用されます。使用および分析の準備が整っているデータ用に最適です。

各ドメイン（たとえば、sales、customers、products）には、少なくとも 1 つの未加工ゾーンと 1 つのキュレートされたゾーンが必要です。

追加のゾーンは、チーム間でデータコントラクトを管理するために使用するか、またはチームについて特定のドメイン内でより細かく分類するために使用します。たとえば、商品ドメイン内の在庫管理などが挙げられます。データオーナーは、ドメイン内のデータを管理し、そのデータにアクセスできます。

Google Cloud コンソールで、Dataplex Universal Catalog の [管理] ビューに移動します。
ゾーンを追加するレイク（My data mesh）の名前をクリックします。
[ゾーン] タブで、[ ゾーンを追加] をクリックします。
[表示名] フィールドに「My sub domain」と入力します。Dataplex Universal Catalog は、ゾーン用の ID を自動的に生成します。

注: ゾーン名は BigQuery データセットの名前になります。したがって、同じ Google Cloud プロジェクトでホストされているすべてのゾーンは、たとえ異なるレイク内に存在する場合でも、一意の ID を持つ必要があります。
[タイプ] で [未加工ゾーン] を選択します。
[作成] をクリックします。

ゾーンにアセットをアタッチする

データアセットをゾーンにアタッチします。データアセットとはデータを格納するストレージリソースのことで、Cloud Storage バケットでも BigQuery データセットでも構いません。これは、データメッシュアーキテクチャの作成の最終段階です。

Dataplex Universal Catalog の [管理] ビューで、作成したレイク（My data mesh）をクリックします。
[ゾーン] タブで、アセットを追加するゾーン（My sub domain）をクリックします。
[アセット] タブで [ アセットを追加] をクリックします。
[アセットを追加] をクリックします。
[タイプ] で [Cloud Storage バケット] を選択します。
[表示名] フィールドに「Data mesh asset」と入力します。Dataplex Universal Catalog は、アセット ID を自動的に生成します。
[バケット] フィールドで [参照] をクリックします。
1. リストからバケットを選択します。
2. [選択] をクリックします。
[完了]、[続行] の順にクリックします。
[続行] をクリックして、デフォルトの [詳細設定] を承認します。
[送信] をクリックします。

クリーンアップ

このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。

プロジェクトを削除する

注意: プロジェクトを削除すると、次のような影響があります。

プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.

データメッシュアーキテクチャを削除する

Google Cloud コンソールで、Dataplex Universal Catalog の [管理] ビューに移動します。
削除するレイクで、[ さらに表示] をクリックし、[削除] をクリックします。
操作を確定するには、「delete」と入力して [レイクを削除] をクリックします。

次のステップ

データ処理タスクについて確認する
データの検出について確認する
データ品質タスクの使用について確認する