データメッシュのコンセプト
Google Cloud Cortex Framework を使用したデータ メッシュのデプロイに関する詳細なガイドに入る前に、このページでは、関連するデータ メッシュのコンセプトが Google Cloud プロダクト内で一般的に実装される方法と、Cortex Framework のコンテキストで具体的に実装される方法の基礎について説明します。データ メッシュのコンセプトを理解したら、Cortex Framework Data Foundation のデータ メッシュ ユーザーガイドをご覧ください。
Dataplex Universal Catalog
次の表に、Dataplex Universal Catalog 内のデータ メッシュのコンセプトを定義します。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| Lake | データ メッシュ内のデータを整理するための最上位の単位。Dataplex Universal Catalog - レイクを管理します。 | データソース（SAP ECC、Salesforce、Google Ads など）。 |
| ゾーン | レイク内のデータを整理するための第 2 レベルの単位。 | データソース内の特定の処理レイヤ（元データと CDC など）。 |
| Dataplex Universal Catalog アセット | ゾーンに関連付けられている Cloud Storage または BigQuery に保存されているデータへの参照。これはデータアセットへの参照であり、データ自体への参照ではありません。 | ゾーンに登録されている BigQuery データセットへの参照。 |
| ラベル | レイクまたはゾーンに適用できる任意の Key-Value ペア。 | テーブルや列ではなく、レイク全体またはゾーン全体に、Dataplex Universal Catalog で表示できるメタデータ、またはカスタム アプリケーションで使用できるメタデータでラベルを付けます。 |
| Data Catalog | ウェアハウス内のデータアセットの検出、理解、管理に役立つテクニカル ビジネス メタデータ。 | Dataplex Universal Catalog 検索またはカスタム アプリケーションで使用できるリッチ メタデータ タグを使用して、テーブルまたは列（レイクまたはゾーンではなく）にアノテーションを付けます。 |
| カタログ タグ テンプレート | タグで使用可能なフィールドとその型を定義するテンプレート。Dataplex Universal Catalog - タグ テンプレートを管理する | ビジネス部門でデータアセットにタグ付けするなどの用途向けに、一連のテンプレートを定義します。 |
| カタログタグ | テーブルまたは列に適用可能なメタデータを含むフィールドとその値のセット。タグ テンプレートのインスタンス。 | 特定の事業部門など、アセットに関連するメタデータ値でテーブルまたは列にアノテーションを付けます。 |
| カタログの用語集 | 定義して BigQuery 列に関連付けることができる用語の辞書。Dataplex Universal Catalog - Glossaries を管理します。 | BigQuery アセットで使用される用語または頭字語を定義します。これは将来の計画であり、サポートされていません。 |
| データ系列 | BigQuery アセットの依存関係を表すグラフ。 | これらは Cortex Data Mesh によって定義されていませんが、ユーザーが BigQuery アセットのデータソースを見つけるのに役立つ Dataplex Universal Catalog ツールです。 |
| Lineage Event | BigQuery アセット間でデータを移動するオペレーションが発生した時点。リンクのリストが含まれます。 | サポートされている BigQuery オペレーションと Composer オペレーションに対して自動的に作成されます。 |
| リネージリンク | リネージ イベントの一部として、ソースアセットからターゲット アセットに流れるデータを表すエッジ。 | コンソールに表示されるリネージの可視化グラフ以外のユースケースをサポートするために分析できます。 |
BigQuery
次の表に、BigQuery 内のデータ メッシュのコンセプトを示します。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| ポリシー分類 | ポリシータグの階層。[BigQuery - Policy Tags] を管理します。 | アクセス制御に使用できる関連するポリシータグを、継承された権限を持つ階層に整理します。 |
| ポリシータグ | BigQuery のテーブルまたはビュー内の特定の列に適用されるタグ。階層内の任意のレベルのポリシータグを適用できます。特定の列に適用できるポリシータグは 1 つだけです。 | 列レベルのアクセス制御に使用されるタグで列にアノテーションを付けます。ポリシータグのプリンシパルは、未加工の列データを表示できる「きめ細かい」または「マスクされていない」読み取りロールを定義します。 |
| データポリシー | マスクされた列データを誰がどのように表示できるかを定義する、ポリシータグに適用されるポリシー。 | データポリシーのプリンシパルは、マスクされた列データを表示できる「マスクされた読み取り」を定義します。マスクされたリーダー権限またはマスクされていないリーダー権限がないユーザーは、列をクエリできません。 |
| マスキング ルール | データ ポリシーに適用されるルール。データのマスキング方法（ハッシュ化、デフォルト値の表示、最後の 4 文字の表示など）を定義します。 | 機密性の高い列に状況に応じて適用されます。 |
| 行アクセス ポリシー | 特定の列の値に基づいて、テーブル内の行をクエリできるグループを定義する SQL ステートメント。 | アセット レベルと列レベルの制御では不十分な場合に、行レベルのアクセス制御に使用されます。 |
Cortex Data Mesh のコンセプト
次の表は、Cortex Framework 内の特定のデータ メッシュのコンセプトを定義したものです。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| メタデータ リソース | 複数の BigQuery アセットで再利用できるメタデータ エンティティ。たとえば、レイク、カタログ タグ テンプレート、ポリシー分類などがあります。これは、BigQuery 自体のデータではなく、メタデータです。 | Cortex Data Mesh の一貫した管理を可能にする再利用可能なリソースを定義します。 |
| BigQuery アセット | BigQuery のテーブルまたはビュー。 | データ メッシュで管理されている既存の Cortex BigQuery オブジェクト。 |
| BigQuery アセット アノテーション | 特定の BigQuery テーブルまたはビューに適用されるメタデータ。これには、説明、アクセス ポリシー、メタデータ リソースへのマッピングが含まれます。 | メタデータを BigQuery アセットに関連付けて、検出とアクセス制御を有効にします。 |
| リソース仕様（spec） | メタデータ リソースまたは BigQuery アセット アノテーションを定義する YAML ファイル。 | リソース仕様の完全なセットは、デプロイするデータ メッシュ構成をコード化します。 |