エンタープライズ データ管理と分析のプラットフォームをデプロイする

リソース階層

このアーキテクチャでは、エンタープライズ基盤ブループリントのリソース階層を使用します。

ネットワーキング

このアーキテクチャには、Workload Identity 連携と Tink ライブラリを使用するデータ転送サービスの例が含まれています。

ロールと IAM 権限

このアーキテクチャには、セグメント化されたデータ プロデューサーのロール、データ コンシューマのロール、データ ガバナンスのロール、データ プラットフォームのロールが含まれます。

メタデータ

このアーキテクチャでは、Data Catalog を使用してデータメタデータを管理します。

一元的なポリシー管理

ポリシーを管理するために、このアーキテクチャでは Google Cloudの CDMC フレームワークの実装を使用します。

データアクセス管理

データへのアクセスを制御するために、このアーキテクチャには、データ利用者がデータオーナーからデータアセットへのアクセス権をリクエストする必要がある独立したプロセスが含まれています。

データ品質

このアーキテクチャでは、Cloud Data Quality Engine を使用して、指定されたテーブル列でデータ品質ルールを定義して実行し、正確性や完全性などの指標に基づいてデータ品質を測定します。

データ セキュリティ

このアーキテクチャでは、タグ付け、暗号化、マスキング、トークン化、IAM コントロールを使用してデータのセキュリティを確保します。

データ環境

このアーキテクチャには、3 つの環境が含まれています。2 つの環境（非本番環境と本番環境）は、パイプラインによって駆動される運用環境です。1 つの環境（開発）はインタラクティブな環境です。

データオーナー

データオーナーは、データアセットを取り込み、処理、公開し、アクセス権を付与します。

データ コンシューマ

データ コンシューマがデータアセットへのアクセスをリクエストします。

パイプライン

このアーキテクチャでは、次のパイプラインを使用してリソースをデプロイします。

• 基盤パイプライン
• インフラストラクチャ パイプライン
• アーティファクト パイプライン
• サービス カタログ パイプライン

リポジトリ

各パイプラインは個別のリポジトリを使用して、責任の分離を可能にします。

プロセスの流れ

このプロセスでは、本番環境への変更に送信者と承認者が含まれる必要があります。

データ プロダクトのスコアカード

レポート エンジンは、データ プロダクトのスコアカードを生成します。

Cloud Logging

このアーキテクチャでは、エンタープライズ基盤ブループリントのロギング インフラストラクチャを使用します。

Cloud Monitoring

このアーキテクチャでは、エンタープライズ基盤ブループリントのモニタリング インフラストラクチャを使用します。

data-mesh-ops@example.com

データメッシュの全体管理者

roles/owner（データ プラットフォーム）

gcp-dm-governance-admins@example.com

データ ガバナンス プロジェクトの管理者

データ ガバナンス プロジェクトの roles/owner

gcp-dm-governance-developers@example.com

データ ガバナンス コンポーネントを構築して維持するデベロッパー

データ ガバナンス プロジェクトの複数のロール（roles/viewer、BigQuery ロール、Data Catalog ロールなど）

gcp-dm-governance-data-readers@example.com

データ ガバナンス情報の読者

roles/viewer

gcp-dm-governance-security-administrator@example.com

ガバナンス プロジェクトのセキュリティ管理者

roles/orgpolicy.policyAdmin と roles/iam.securityReviewer。

gcp-dm-governance-tag-template-users@example.com

タグ テンプレートの使用権限を持つグループ

roles/datacatalog.tagTemplateUser

gcp-dm-governance-tag-users@example.com

タグ テンプレートの使用とタグの追加の権限を持つグループ

roles/datacatalog.tagTemplateUser と roles/datacatalog.tagEditor。

gcp-dm-governance-scc-notifications@example.com

Security Command Center 通知のサービス アカウント グループ

なし。これはメンバーシップのグループであり、この名前のサービス アカウントが作成され、必要な権限が付与されます。

gcp-dm-{data_domain_name}-admins@example.com

特定のデータドメインの管理者

データドメイン プロジェクトに対する roles/owner

gcp-dm-{data_domain_name}-developers@example.com

データドメイン内でデータ プロダクトを構築して維持するデベロッパー

データドメイン プロジェクトに対する複数のロール（roles/viewer、BigQuery ロール、Cloud Storage ロールなど）

gcp-dm-{data_domain_name}-data-readers@example.com

データドメイン情報の読み取り元

roles/viewer

gcp-dm-{data_domain_name}-metadata-editors@{var.domain}

Data Catalog エントリの編集者

Data Catalog エントリを編集するためのロール

gcp-dm-{data_domain_name}-data-stewards@example.com

データドメインのデータ スチュワード

メタデータとデータ ガバナンスの側面を管理するロール

gcp-dm-consumer-{project_name}-admins@example.com

特定のコンシューマ プロジェクトの管理者

コンシューマ プロジェクトに対する roles/owner

gcp-dm-consumer-{project_name}-developers@example.com

コンシューマー プロジェクト内で作業するデベロッパー

コンシューマ プロジェクトの複数のロール（roles/viewer ロールや BigQuery ロールなど）

gcp-dm-consumer-{project_name}-data-readers@example.com

コンシューマー プロジェクト情報の読み取り

roles/viewer

common

prj-c-artifact-pipeline

アーキテクチャのコード アーティファクトの構築に使用されるデプロイ パイプラインが含まれています。

prj-c-service-catalog

インタラクティブ環境にリソースをデプロイするためにサービス カタログで使用されるインフラストラクチャが含まれています。

prj-c-datagovernance

Google Cloudの CDMC フレームワークの実装で使用されるすべてのリソースが含まれています。

development

fldr-d-dataplatform

インタラクティブ モードでユースケースを開発するためのデータ プラットフォームのプロジェクトとリソースが含まれています。

non-production

fldr-n-dataplatform

運用環境にデプロイするユースケースをテストするためのデータ プラットフォームのプロジェクトとリソースが含まれます。

production

fldr-p-dataplatform

本番環境にデプロイするデータ プラットフォームのプロジェクトとリソースが含まれています。

Producers

データドメインが含まれます。

一般ユーザー

コンシューマ プロジェクトが含まれます。

データドメイン

特定のドメインに関連付けられたプロジェクトが含まれています。

取り込み

取り込みプロジェクトは、データドメインにデータを取り込みます。このアーキテクチャは、BigQuery、Cloud Storage、Pub/Sub にデータをストリーミングする方法の例を示しています。取り込みプロジェクトには、取り込まれたデータの変換と移動をオーケストレートするために使用できる Dataflow と Cloud Composer の例も含まれています。

非機密

機密性のないプロジェクトには、匿名化されたデータが含まれています。データのマスキング、コンテナ化、暗号化、トークン化、難読化を行うことができます。ポリシータグを使用して、データの表示方法を制御します。

社外秘

機密プロジェクトには平文データが含まれています。アクセスは IAM 権限で制御できます。

鍵管理

Cloud KMS

機密データを保護する暗号鍵を安全に管理するサービス。

レコード マネージャー

Cloud Run

データ処理アクティビティの包括的なログとレコードを維持するアプリケーション。これにより、組織はデータ使用状況を追跡して監査できます。

アーカイブ ポリシー

BigQuery

データのストレージ ポリシーを含む BigQuery テーブル。

利用資格

BigQuery

機密データにアクセスできるユーザーに関する情報を保存する BigQuery テーブル。このテーブルにより、承認されたユーザーのみが、ロールと権限に基づいて特定のデータにアクセスできるようになります。

データ損失

Sensitive Data Protection

アセットに機密データが含まれていないか検査するために使用されるサービス。

DLP の検出結果

BigQuery

データ プラットフォーム内のデータ分類をカタログ化する BigQuery テーブル。

ポリシー

BigQuery

一貫したデータ ガバナンス プラクティス（データアクセス タイプなど）を含む BigQuery テーブル。

課金データのエクスポート

BigQuery

Cloud Billing からエクスポートされた費用情報を格納するテーブル。データアセットに関連付けられた費用指標の分析を可能にします。

Cloud Data Quality Engine

Cloud Run

テーブルと列のデータ品質チェックを実行するアプリケーション。

データ品質の検出結果

BigQuery

定義されたデータ品質ルールとデータアセットの実際の品質の間で検出された不一致を記録する BigQuery テーブル。

スケジューラ

Cloud Scheduler

Cloud Data Quality Engine の実行タイミングと Sensitive Data Protection の検査のタイミングを制御するサービス。

レポート エンジン

Cloud Run

CDMC フレームワークのコントロールへの準拠の追跡と測定に役立つレポートを生成するアプリケーション。

検出結果とアセット

BigQuery と Pub/Sub

タグの欠落、分類の誤り、コンプライアンス違反のストレージ ロケーションなど、データ管理制御の不一致や不整合に関する BigQuery レポート。

タグのエクスポート

BigQuery

Data Catalog から抽出されたタグ情報が含まれる BigQuery テーブル。

ポリシー管理

組織ポリシー サービス

データが地理的に保存できる場所に制限を定義して適用するサービス。

属性ベースのアクセス ポリシー

Access Context Manager

属性ベースの詳細なアクセス ポリシーを定義して適用するサービス。これにより、許可されたロケーションとデバイスの承認済みユーザーのみが機密情報にアクセスできるようになります。

メタデータ

Data Catalog

データメッシュで使用されているテーブルに関するメタデータ情報を保存するサービス。

Engine のタグ設定

Cloud Run

BigQuery テーブルのデータにタグを追加するアプリケーション。

CDMC レポート

Looker Studio

アナリストが CDMC アーキテクチャ エンジンによって生成されたレポートを表示できるダッシュボード。

データ管理のコンプライアンス

Report Engine は、コンプライアンス違反のデータアセットを検出し、検出結果を Pub/Sub トピックにパブリッシュします。これらの検出結果は、Looker Studio を使用したレポート作成のために BigQuery にも読み込まれます。

移行データとクラウド生成データの両方にデータの所有権が確立している

Data Catalog は、BigQuery からテクニカル メタデータを自動的にキャプチャします。Tag Engine は、参照テーブルからオーナー名や機密性レベルなどのビジネス メタデータタグを適用します。これにより、コンプライアンスを確保するために、すべての機密データにオーナー情報のタグが付けられます。この自動タグ付けプロセスは、機密データを特定して適切な所有者情報でラベル付けすることで、データ ガバナンスとコンプライアンスを実現します。

データのソーシングと利用が統制され、自動化によってサポートされている

Data Catalog は、信頼できるソースであるデータアセットに is_authoritative フラグをタグ付けして、データアセットを分類します。Data Catalog は、この情報とテクニカル メタデータを自動的にデータレジストリに保存します。Report Engine と Tag Engine は、Pub/Sub を使用して信頼できるソースのデータレジストリを検証してレポートできます。

データ主権と境界を越えるデータの移動が管理されている

組織のポリシー サービスは、データアセットに許可されるストレージ リージョンを定義し、Access Context Manager はユーザーのロケーションに基づいてアクセスを制限します。Data Catalog は、承認されたストレージのロケーションをメタデータタグとして保存します。Report Engine は、これらのタグを BigQuery 内のデータアセットの実際の場所と比較し、不一致があれば Pub/Sub を使用して検出結果として公開します。Security Command Center は、定義されたポリシーの外部にデータが保存またはアクセスされた場合に脆弱性の検出結果を生成することで、追加のモニタリング レイヤを提供します。

データカタログが実装、使用され、相互運用されている

Data Catalog は、すべての BigQuery データアセットのテクニカル メタデータを保存して更新し、継続的に同期された Data Catalog を効果的に作成します。Data Catalog では、新しいテーブルや変更されたテーブルとビューがカタログにすぐに追加され、データアセットの最新のインベントリが維持されます。

データ分類が定義され、使用されている

Sensitive Data Protection は、BigQuery データを検査して機密情報の種類を特定します。これらの検出結果は、分類参照表に基づいてランク付けされ、最も高い機密性レベルが Data Catalog の列レベルとテーブルレベルでタグとして割り当てられます。Tag Engine は、新しいデータアセットが追加されたときや既存のデータアセットが変更されたときに、機密性タグを使用してデータカタログを更新することで、このプロセスを管理します。このプロセスにより、機密性に基づいてデータの分類が常に更新されます。この分類は、Pub/Sub と統合されたレポート作成ツールを使用してモニタリングおよびレポートできます。

データの利用資格が管理、適用、追跡されている

BigQuery のポリシータグは、機密データへのアクセスを列レベルで制御します。これにより、割り当てられたポリシータグに基づいて、承認されたユーザーのみが特定のデータにアクセスできるようになります。IAM はデータ ウェアハウスへの全体的なアクセスを管理し、Data Catalog は機密性分類を保存します。定期的なチェックが実行され、すべての機密データに対応するポリシータグが付与されていることを確認します。不一致がある場合は、Pub/Sub を使用して報告され、修正されます。

データの倫理的アクセス、使用、結果が管理されている

プロバイダとコンシューマの両方のデータ共有契約は、専用の BigQuery データ ウェアハウスに保存され、使用目的を制御します。Data Catalog は、データアセットにプロバイダの契約情報をラベル付けします。一方、コンシューマの契約は、アクセス制御用の IAM バインディングにリンクされます。クエリラベルは利用目的を適用するため、利用者は機密データをクエリするときに有効な目的を指定する必要があります。この目的は、BigQuery の利用資格と照合されます。BigQuery の監査証跡は、すべてのデータアクセスを追跡し、データ共有契約に準拠していることを確認します。

データが保護され、コントロールが証明されている

Google のデフォルトの保存データの暗号化は、ディスクに保存されているデータを保護します。Cloud KMS は、鍵管理を強化するために顧客管理の暗号鍵（CMEK）をサポートしています。BigQuery は、匿名化のために列レベルの動的データ マスキングを実装し、データの取り込み中にアプリケーション レベルの匿名化をサポートしています。Data Catalog は、データアセットに適用される暗号化と匿名化の手法のメタデータタグを保存します。自動チェックにより、暗号化と匿名化の方法が事前定義されたセキュリティ ポリシーと一致していることが確認され、不一致があれば Pub/Sub を使用して検出結果として報告されます。

データ プライバシー フレームワークが定義され、運用されている

Data Catalog は、機密データアセットに、影響評価に関連する情報（被写体の位置情報や評価レポートのリンクなど）のタグを設定します。Tag Engine は、データの機密性と BigQuery のポリシーテーブルに基づいてこれらのタグを適用します。このテーブルには、データと被写体の所在地に基づく評価要件が定義されています。この自動タグ付けプロセスにより、影響評価の要件に対するコンプライアンスの継続的なモニタリングとレポートが可能になり、必要に応じてデータ保護影響評価（DPIA）または保護影響評価（PIA）が実施されます。

データ ライフサイクルが計画され、管理されている

Data Catalog は、保持期間と有効期限アクション（アーカイブやパージなど）を指定して、保持ポリシーでデータアセットにラベルを付けます。Record Manager は、定義されたタグに基づいて BigQuery テーブルをパージまたはアーカイブすることで、これらのポリシーの適用を自動化します。この適用により、データ ライフサイクル ポリシーに準拠し、データ保持要件に準拠した状態を維持できます。不一致は Pub/Sub を使用して検出および報告されます。

データ品質が管理されている

Cloud Data Quality Engine は、指定されたテーブル列に対してデータ品質ルールを定義して実行し、正確性や完全性などの指標に基づいてデータ品質を測定します。これらのチェックの結果（成功率やしきい値など）は、タグとして Data Catalog に保存されます。これらの結果を保存することで、データ品質の継続的なモニタリングとレポートが可能になり、問題や許容しきい値からの逸脱は Pub/Sub を使用して検出結果として公開されます。

費用管理の原則が確立され、適用されている

Data Catalog には、クエリ費用、ストレージ費用、データ下り（外向き）費用など、データアセットの費用関連の指標が保存されます。これらの指標は、Cloud Billing から BigQuery にエクスポートされた課金情報を使用して計算されます。費用関連の指標を保存すると、費用の包括的な追跡と分析が可能になり、費用ポリシーの遵守とリソースの効率的な使用が確保されます。異常は Pub/Sub を使用して報告されます。

データの来歴と系列が理解されている

Data Catalog の組み込みのデータリネージ機能は、データアセットの来歴とリネージを追跡し、データフローを視覚的に表します。さらに、データ取り込みスクリプトは、Data Catalog でデータの元のソースを識別してタグ付けし、データの元へのトレーサビリティを強化します。

基盤パイプライン

ブートストラップ

• データ プラットフォームのフォルダとサブフォルダ
• 共通プロジェクト
• インフラストラクチャ パイプラインのサービス アカウント
• Infrastructure パイプラインの Cloud Build トリガー
• 共有 VPC
• VPC Service Controls 境界

インフラストラクチャ パイプライン

基盤パイプライン

• コンシューマ プロジェクト
• Service Catalog サービス アカウント
• Service Catalog パイプラインの Cloud Build トリガー
• アーティファクト パイプライン サービス アカウント
• アーティファクト パイプラインの Cloud Build トリガー

サービス カタログ パイプライン

インフラストラクチャ パイプライン

• Service Catalog バケットにデプロイされたリソース

アーティファクト パイプライン

インフラストラクチャ パイプライン

アーティファクト パイプラインは、データメッシュで使用されるコードベースのさまざまなコンテナやその他のコンポーネントを生成します。

CDMC フレームワーク

Google Cloud CDMC の実装

データアセットの保護、管理、制御に役立つガバナンス フレームワークを提供します。詳細については、CDMC キー コントロール フレームワークをご覧ください。

デプロイ

インフラストラクチャ パイプライン

インフラストラクチャのデプロイ、コンテナのビルド、データ パイプラインの作成を行う一連のパイプラインを提供します。パイプラインを使用することで、監査可能性、トレーサビリティ、再現性を確保できます。

アーティファクト パイプライン

インフラストラクチャ パイプラインによってデプロイされないさまざまなコンポーネントをデプロイします。

Terraform テンプレート

システム インフラストラクチャを構築します。

Open Policy Agent

プラットフォームが選択したポリシーに準拠していることを確認できます。

ネットワーク

Private Service Connect

API レイヤと IP レイヤでアーキテクチャ リソースのデータの引き出しを保護します。プライベート IP アドレスを使用して Google Cloud APIs と通信できるため、インターネットへのトラフィックの漏洩を回避できます。

プライベート IP アドレスを割り当てられた VPC ネットワーク

インターネットに接続する脅威への露出を軽減できます。

VPC Service Controls

機密リソースをデータの引き出しから保護します。

ファイアウォール

VPC ネットワークを不正アクセスから保護します。

アクセス管理

Access Context Manager

誰がどのリソースにアクセスできるかを制御し、リソースの不正使用を防止します。

Workload Identity 連携

オンプレミス環境からプラットフォームにデータを転送するために外部認証情報を使用する必要がなくなります。

Data Catalog

ユーザーが利用できるアセットのインデックスを提供します。

IAM

きめ細かいアクセスを提供します。

暗号化

Cloud KMS

暗号鍵とシークレットを管理し、保存データの暗号化と転送データの暗号化によってデータを保護できます。

Secret Manager

IAM によって制御されるパイプラインのシークレット ストアを提供します。

保存時の暗号化

デフォルトでは、 Google Cloud は保存データを暗号化します。

転送データの暗号化

デフォルトでは、 Google Cloud は転送中のデータを暗号化します。

検出

Security Command Center

組織内の構成ミスや悪意のあるアクティビティを検出できます。 Google Cloud

継続的アーキテクチャ

ユーザーが定義した一連の OPA ポリシーとの照合により、 Google Cloud 組織を継続的に確認します。

IAM Recommender

ユーザー権限を分析し、最小権限の原則を適用するために権限の削減に関する提案を行います。

ファイアウォール インサイト

全体的なセキュリティ ポスチャーを強化するため、ファイアウォール ルールを分析し、過度に制限の緩いファイアウォール ルールを特定して、より制限の厳しいファイアウォールを提案します。

Cloud Logging

システムの活動を可視化して、異常や悪意のある活動の検出を実現します。

Cloud Monitoring

不審な活動の特定に役立つ重要なシグナルとイベントを追跡します。

予防

組織ポリシー

組織内のアクションを制御、制限できます。 Google Cloud