ステップ 4: コンポーネントを設定する

このページでは、Cortex Framework のコアである Cortex Framework Data Foundation をデプロイする 4 番目の手順について説明します。このステップでは、デプロイに必要なGoogle Cloud サービスを設定します。

Google Cloud サービスを有効にする

このセクションでは、Google Cloud プロジェクトで次の Google Cloud サービスを有効にします。

• BigQuery インスタンスとデータセット
• Cloud Build API
• Cloud Storage バケット
• サービス アカウント
• Cloud Resource Manager API
• Data Catalog API（Datamesh をデプロイする場合）
• ワークフローの実行（Cortex for Meridian をデプロイする場合）
• AI プラットフォーム（Cortex for Meridian をデプロイする場合）

Cloud Shell を使用して、次の Google Cloud サービスを有効にします。

1. 次のコマンドをコピーして貼り付けます。

   gcloud config set project SOURCE_PROJECT
   
   gcloud services enable bigquery.googleapis.com \
                         cloudbuild.googleapis.com \
                         composer.googleapis.com \
                         storage-component.googleapis.com \
                         cloudresourcemanager.googleapis.com \
                         dataflow.googleapis.com \
                         datacatalog.googleapis.com \
                         workflowexecutions.googleapis.com \
                         workflows.googleapis.com \
                         aiplatform.googleapis.com
   

   SOURCE_PROJECT は、移行元のプロジェクト ID に置き換えます。

2. 成功メッセージが表示された場合は、 Google Cloud サービスが有効になっていることを確認します。

（省略可）Google Cloud プロジェクトで次の Google Cloud サービスを有効にできます。

• 変更データ キャプチャ（CDC）処理、階層の平坦化（SAP のみ）、有向非巡回グラフ（DAG）によるデータ レプリケーション（SAP 以外のみ）用の Cloud Composer。インスタンスを設定するには、Cloud Composer のドキュメントをご覧ください。
• レポート テンプレートに接続するための Looker。
• BigQuery Sharing（旧 Analytics Hub）のリンクされたデータセットは、天気予報 DAG などの一部の外部ソースで使用されます。高度なシナリオでは、この構造を任意の他の利用可能なソースで入力することもできます。
• Dataflow: Google 広告などのマーケティング データセットの多くを統合するためのツール。
• Dataplex Universal Catalog: データメッシュの構築に使用されます。詳細については、データ メッシュ ユーザーガイドをご覧ください。
• Meridian を使用した Cortex Framework の場合:
  • Colab Enterprise: 次の項目にアクセスできる実行中に Colab Enterprise ノートブックを実行する。
  • Cloud Storage 上のノートブックと構成ファイル。
  • 関連する BigQuery ビューとテーブルに対してクエリを実行します。
  • 結果を Cloud Storage に書き戻します。
  • Workflows: ワークフローと Cloud Build を実行して、Colab Enterprise ノートブックの実行をトリガーします。

実行ユーザーに権限を付与する

Google Cloud コンソールまたは Google Cloud CLI を使用して、Cloud Build がトリガーされるプロジェクトでデプロイを実行する実行ユーザーに次の権限を付与します。

• Service Usage ユーザー (roles/serviceusage.serviceUsageConsumer)
• Storage オブジェクト閲覧者（roles/storage.objectViewer）
• ストレージ管理者（roles/storage.admin）
• Cloud Build 編集者（roles/cloudbuild.builds.editor）
• プロジェクト閲覧者（roles/reader）
• BigQuery ジョブユーザー（roles/bigquery.jobUser）

• BigQuery データ編集者（roles/bigquery.dataEditor）

  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/serviceusage.serviceUsageConsumer"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/storage.objectViewer"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/storage.admin"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/cloudbuild.builds.editor"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/reader"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.jobUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.dataEditor"

Cloud Build サービス アカウントを作成して構成する

Cloud Build は、サービス アカウントを使用してユーザーの代わりにビルドを実行します。このセクションでは、Cortex Framework デプロイ用の専用サービス アカウントを作成し、Cloud Build サービス アカウントに必要な権限を付与する手順について説明します。

サービス アカウントを新規作成

セキュリティと制御を強化するために、Cortex Framework のデプロイ専用のサービス アカウントを作成します。新しいサービス アカウントを作成したら、_BUILD_ACCOUNT 置換パラメータを使用して、デプロイ プロセス中にこのサービス アカウントを指定できます。

始める前に、IAM API を有効にし、認証を設定し、IAM サービス アカウントとロールについて理解しておく必要があります。詳細については、サービス アカウントの作成をご覧ください。

この新しいサービス アカウントは、 Google Cloud コンソールまたは Google Cloud CLI を使用して作成します。

新しいサービス アカウントの作成の詳細については、サービス アカウントを作成するをご覧ください。

権限を付与する

Cloud Build サービス アカウントには、ソース プロジェクト（別のプロジェクトにデプロイする場合はターゲット プロジェクト）で特定の権限が必要です。 Google Cloud コンソールまたは Google Cloud CLI を使用して、次のロールを付与します。

• Cloud Build サービス アカウント（roles/cloudbuild.builds.builder）
• サービス アカウント ユーザー（roles/iam.serviceAccountUser）
• BigQuery データ編集者（roles/bigquery.dataEditor）
• BigQuery ジョブユーザー（roles/bigquery.jobUser）
• ログ書き込み（roles/logging.logWriter）
• Colab Enterprise 管理者（roles/aiplatform.colabEnterpriseAdmin - Cortex for Meridian をデプロイする場合）
• Storage オブジェクト ユーザー（roles/storage.objectUser - Cortex for Meridian をデプロイする場合）

• ワークフロー編集者（roles/workflows.editor - Cortex for Meridian をデプロイする場合）

  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/cloudbuild.builds.builder"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/iam.serviceAccountUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/bigquery.dataEditor"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/bigquery.jobUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/logging.logWriter"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/aiplatform.colabEnterpriseAdmin"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/storage.objectUser"
  gcloud projects add-iam-policy-binding SOURCE_PROJECT \
      --member="serviceAccount:CLOUD_BUILD_SA" \
      --role="roles/workflows.editor"

Meridian 用の Cortex の追加のサービス アカウントを作成する

Cortex Framework をデプロイする場合は、Meridian 用に個別のサービス アカウントが必要です。Meridian 向けにデプロイしない場合は、この手順をスキップできます。次の場合は、個別のサービス アカウントが必要です。

• ワークフローと Cloud Build を実行して、Colab Enterprise ノートブックの実行をトリガーします。
• 次のものにアクセスできる Colab Enterprise ノートブックを実行する:
  • Cloud Storage 上のノートブックと構成ファイル。
  • 関連する BigQuery ビューとテーブルに対してクエリを実行します。
  • 結果を Cloud Storage に書き戻します。

次のコマンドを使用して、Meridian 用 Cortex のサービス アカウントを作成します。

 gcloud iam service-accounts create cortex-meridian-colab-runner --project= PROJECT_ID \
        --description="Cortex for Meridian Colab Runner Service Account" \
        --display-name="Cortex Meridian Runner"

次のように置き換えます。

• PROJECT_ID: Cortex for Meridian がデプロイされているプロジェクト ID。
• cortex-meridian-colab-runner: 必要に応じて、別のサービス アカウント ID を使用できます。cortex-meridian-colab-runner はデフォルトであり、変更すると他のコマンドの調整が必要になる可能性があることに注意してください。

Cortex for Meridian の専用サービス アカウントに必要な最小限のロールは次のとおりです。

• BigQuery データ閲覧者（roles/bigquery.dataViewer）
• BigQuery ジョブユーザー（roles/bigquery.jobUser）
• BigQuery 読み取りセッション ユーザー（roles/bigquery.readSessionUser）
• Cloud Build 編集者（roles/cloudbuild.builds.editor）
• Colab Enterprise 管理者（roles/aiplatform.colabEnterpriseAdmin）
• ログ書き込み（roles/logging.logWriter）
• ノートブック ランタイム管理者（aiplatform.notebookRuntimeAdmin）
• ストレージ管理者（roles/storage.admin）
• Storage オブジェクト ユーザー（roles/storage.objectUser）
• Vertex AI Colab サービス エージェント（roles/aiplatform.colabServiceAgent）

次のコマンドを使用して、Meridian 用 Cortex の専用サービス アカウントにロールを付与します。

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/bigquery.dataViewer'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/bigquery.jobUser'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/bigquery.readSessionUser'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/cloudbuild.builds.editor'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/aiplatform.colabEnterpriseAdmin'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/logging.logWriter'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/aiplatform.notebookRuntimeAdmin'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/storage.admin'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/storage.objectUser'

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member='serviceAccount:SERVICE_ACCOUNT_EMAIL' \
    --role='roles/aiplatform.colabServiceAgent'

次のように置き換えます。

• PROJECT_ID は、Cortex for Meridian がデプロイされているプロジェクト ID に置き換えます。
• SERVICE_ACCOUNT_EMAIL は、Cortex for Meridian のサービス アカウントに置き換えます。

省略可能な手順

デプロイをより適切にカスタマイズするには、次の省略可能な手順を検討してください。

• データメッシュ: 説明以外の機能を実装するためにデータメッシュのデフォルト値を変更する必要がある場合は、データメッシュのコンセプトとデータメッシュのユーザーガイドをご覧ください。

DAG 関連ファイルを保存するストレージ バケットを作成する

処理 DAG スクリプトと、デプロイ中に生成されるその他の一時ファイルを保存するには、ストレージ バケットが必要です。これらのスクリプトは、デプロイ後に Cloud Composer または Apache Airflow インスタンスに手動で移動する必要があります。

次の手順で、Google Cloud CLI または Google Cloud コンソールからストレージ バケットを作成できます。

ログ用の Storage バケットを作成する

Cloud Build プロセス用に、ログを保存する特定のバケットを作成できます。これは、ログに保存される可能性のあるデータを特定のリージョンに制限する場合に便利です。ログのストレージ バケットは、Google Cloud CLI または Google Cloud コンソールから作成できます。

次のステップ

このステップが完了したら、次のデプロイ手順に進みます。

1. ワークロードを確立する。
2. リポジトリのクローンを作成する。
3. 統合メカニズムを決定します。
4. コンポーネントを設定する（このページ）。
5. デプロイを構成する。
6. デプロイを実行します。