Meridian 用 Cortex

このページでは、Google Meridian のデータ準備とクラウド自動化のプロセスについて詳しく説明します。Meridian 向けの Cortex Framework は、クロス メディアと販売データを使用してオープンソースのマーケティング ミックス モデリング（MMM）を効率化します。Cortex Framework は、事前構成されたデータモデルを提供し、Colab Enterprise や Workflows などの Google Cloud サービスを使用して Meridian オープンソース モデルの実行を自動化することで、このプロセスを簡素化します。

Google Cloud Cortex Framework の重要な価値提案の一つは、次世代のエンタープライズ インテリジェンスのためのデータと AI の基盤を提供することです。これにより、販売、マーケティング、注文処理、在庫管理などの主要な分野にわたる分析が可能になります。

マーケティング向けの Cortex Framework は、クロス メディア プラットフォームの重要業績評価指標（KPI）と指標を提供します。これらの指標は、Google の最新のオープンソース MMM である Meridian を実行するためのモデリング前のデータ準備ステップの重要な部分です。広告主様、広告代理店、パートナーは、Google Cloud Cortex Framework Data Foundation を活用することで、モデリング前のデータ準備プロセスを加速できます。

Cortex for Meridian は、次のようなコア Cortex Framework データソースからデータを効率的に収集して変換することで、モデリング前のプロセスを簡素化します。

• クロスメディアとプロダクトのコネクテッド インサイト。
• SAP（ECC および S/4 HANA）
• Oracle EBS

詳細については、Meridian のドキュメントをご覧ください。

構成ファイル

ノートブックの実行中、システムは Cloud Storage 内の configuration フォルダにある cortex_meridian_config.json ファイルから構成パラメータを取得します。

次のセクションでは、Meridian 実行用のさまざまな構成 YAML ファイルの例を示します。

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

次の表に、cortex_meridian_config.json ファイルの各構成パラメータの値を示します。

Meridian との互換性

Cortex Framework Data Foundation と Meridian は別々にリリースされます。Cortex Framework のリリースノートには、リリースとバージョンの概要が記載されています。Meridian の GitHub リポジトリで、利用可能な最新の Meridian バージョンを確認できます。Meridian の前提条件と推奨システムについては、Meridian のユーザーガイドをご覧ください。

Cortex Framework Data Foundation のリリースは、特定のバージョンの Meridian でテストされます。次の図に示すように、互換性のある Meridian は Jupyter ノートブック内で確認できます。

新しいバージョンの Meridian に更新するには、ノートブック内の対応する行を変更します。ノートブックで追加のコード調整が必要になる場合があります。

データモデル

このセクションでは、エンティティ リレーションシップ図（ERD）を使用して CrossMediaSalesInsightsWeeklyAgg データモデルについて説明します。

Meridian 用 Cortex は、単一のビュー CrossMediaSalesInsightsWeeklyAgg に依存して動作します。このビューのデータソースは k9.Meridian.salesDataSourceType 構成設定によって決まります。この設定は次のいずれかになります。

• BYOD（Bring Your Own Data）: カスタム データ統合。
• SAP_SALES: SAP システムの販売データ。
• ORACLE_SALES: Oracle EBS システムの販売データ。

次のセクションでは、CrossMediaForMeridian のエンティティ関連図を示します。

次の表に、Meridian 用 Cortex の一部である CrossMediaSalesInsightsWeeklyAgg ビューの詳細なスキーマを示します。

デプロイ

このページでは、Meridian 用の Cortex Framework をデプロイして、 Google Cloud 環境内でクラス最高の MMM を有効にする手順について説明します。

クイックスタート デモについては、Meridian のクイックスタート デモをご覧ください。

アーキテクチャ

Cortex for Meridian は、マーケティングとクロスメディア データに Cortex Framework を使用し、販売データと組み合わせています。Oracle EBS、SAP、または別のソースシステムから販売データを取り込むことができます。

次の図は、Meridian 用 Cortex の主要コンポーネントを示しています。

Meridian のコンポーネントとサービス

Cortex Framework Data Foundation のデプロイ中（デプロイの前提条件を参照）、config.json ファイルで deployMeridian を true に設定することで、Meridian 用の Cortex を有効にできます。このオプションを選択すると、追加の Cloud Build パイプラインが開始され、Meridian に必要な次のコンポーネントとサービスがインストールされます。

• BigQuery ビュー: ビューは、CrossMediaSalesInsightsWeeklyAgg という名前の K9 レポート データセットに作成されます。これにより、Cortex Framework からマーケティング データと販売データのクエリを実行できます。ビューと基盤となるソースの実際の実装は、デプロイ時に選択する販売データソースによって異なります。

• Cloud Storage バケット: PROJECT_ID-cortex-meridian バケットには、Meridian 用の Cortex で必要とされる、または生成されるすべてのアーティファクトが次のフォルダに含まれています。

  • configuration: Meridian の Cortex の設定とパラメータを定義します。これは、ノートブックの実行中に Colab Enterprise ノートブックで使用されます。
  • csv: Meridian の実行から出力された生データは、ここに CSV ファイルとして保存されます。
  • models: Meridian の実行で生成されたモデルがここに保存されます。
  • notebook-run-logs: 各実行のノートブックのコピーとログがここに保存されます。
  • notebooks: Meridian 用 Cortex を実行するためのコードとロジックを含むメインのノートブックが含まれています。このノートブックは、特定のニーズや要件に合わせてさらにカスタマイズすることを目的としています。
  • reporting: Meridian の実行レポートが保存されるフォルダです。また、Meridian からのレポート出力へのリンクを含む概要レポートを生成するための HTML テンプレートも含まれています。

• Colab Enterprise: Colab Enterprise は、Jupyter ノートブックを使用するデータ サイエンスと機械学習のワークフローに安全な共同作業環境を提供する Google Cloud のマネージド サービスです。マネージド インフラストラクチャ、エンタープライズ レベルのセキュリティ制御、他の Google Cloud サービスとの統合などの機能が提供されるため、機密データを扱うチームや、強力なガバナンスを必要とするチームに適しています。Jupyter ノートブックを実行するためのマネージド環境。

Cortex for Meridian は、Colab Enterprise を使用して、Meridian の実行を自動化するために必要なインフラストラクチャを含むランタイム テンプレートを定義します。

ワークフローを使用してエンドツーエンドのパイプラインをトリガーすると、実行が作成されます。これにより、最新の構成で Cloud Storage から現在の Jupyter ノートブックのコピーが実行されます。

• ワークフロー: cortex-meridian-execute-notebook という名前の Cloud Workflow が、Meridian パイプラインの Cortex 全体の実行をオーケストレートします。ワークフローは、ランタイム テンプレートに基づいてランタイムを作成し、現在の構成でノートブック実行を実行する Colab Enterprise API を呼び出し、最後にすべての結果を Cloud Storage に保存します。

  

  ワークフローには、次の 2 つのオプションの構成オプションがあります。

  1. 新しい Cortex for Meridian JSON 構成をワークフローへの入力として指定できる場合。この場合、フローは古い構成のバックアップを作成し、入力した内容で構成を更新します。詳細については、REPLACE をご覧ください。

  

  1. pre_notebook_execution ステップは、ノートブックを実行する前に自動化する必要がある追加のタスクを開始するのに最適な場所です。たとえば、Google Cloud Cortex Framework の外部のソースからデータを読み込む場合などです。

• サービス アカウント: デプロイ時に専用のサービス アカウントを指定する必要があります。これは、Colab Enterprise でワークフローとノートブックを実行するために必要です。

Meridian の追加のデプロイ パラメータ

config.json ファイルは、Cortex Framework で Meridian を実行するために必要な設定を構成します。このファイルには、Meridian 用 Cortex の次のパラメータが含まれています。

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

次の表に、Meridian の各パラメータの値と説明を示します。

ワークフロー

ワークフローは、Cortex for Meridian の実行を開始するためのプライマリ インターフェースとして機能します。cortex-meridian-execute-notebook というデフォルトのワークフローは、Meridian 用 Cortex の一部としてデプロイされます。

ノートブックの実行

Meridian 用の新しい Cortex の実行を開始する手順は次のとおりです。

1. Workflows の cortex-meridian-execute-notebook ノートブックに移動します。
2. [実行] をクリックして、新しい実行を開始します。
3. 初回実行では、入力フィールドを空のままにして、Cloud Storage の cortex_meridian_config.json 構成ファイルに保存されているデフォルト構成を使用します。
4. もう一度 [Execute] をクリックして続行します。

5. しばらくすると、ワークフローの実行ステータスが表示されます。

   

6. Colab Enterprise でノートブックの実行状況を追跡します。

ワークフローの手順

cortex-meridian-execute-notebook ワークフローには次のステップが含まれます。

Meridian 実行ワークフローをカスタマイズする

Meridian の実行をカスタマイズするには、[ワークフロー] 入力フィールドに独自の構成 JSON ファイルを指定します。

1. 変更した構成の完全な JSON を入力フィールドに入力します。
2. ワークフローは次のようになります。
   1. Cloud Storage 内の既存の cortex_meridian_config.json ファイルを、提供された JSON に置き換えます。
   2. Cloud Storage/configuration ディレクトリに元の構成ファイルのバックアップを作成します。
   3. バックアップ ファイル名は cortex_meridian_config_workflow_backup_workflow_execution_id.json の形式になります。ここで、workflow_execution_id は現在のワークフロー実行の一意の識別子です（例: cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json）。

Jupyter ノートブックの概要

Meridian モデルを実行して実行するための入力データの読み込みのコア機能は、Cloud Storage バケットの notebooks フォルダにある Python ノートブック meridian_cortex_marketing.ipynb によって処理されます。

ノートブックの実行フローは次の手順で構成されます。

1. 必要なパッケージ（Meridian を含む）をインストールし、必要なライブラリをインポートします。
2. Cloud Storage と BigQuery を操作するためのヘルパー関数を読み込みます。
3. Cloud Storage の configuration/cortex_meridian_config.json ファイルから実行構成を取得します。
4. BigQuery 内の Cortex Framework Data Foundation ビューから Cortex Framework データを読み込みます。
5. メリディアン モデルの仕様を構成し、マーケティングと販売の Cortex Framework データ基盤データモデルをメリディアン モデルの入力スキーマにマッピングします。
6. Meridian サンプリングを実行し、概要レポートを生成して Cloud Storage（/reporting）に保存します。
7. デフォルトのシナリオで予算オプティマイザーを実行し、概要レポートを Cloud Storage（/reporting）に出力します。
8. Cloud Storage にモデルを保存します（/models）。
9. CSV 結果を Cloud Storage に保存します（/csv）。
10. 概要レポートを生成して Cloud Storage（/reporting）に保存します。

手動実行と編集用のノートブックをインポートする

ノートブックをカスタマイズまたは手動で実行するには、Cloud Storage からインポートします。

1. Colab Enterprise に移動します。
2. [マイ ノートブック] をクリックします。
3. [インポート] をクリックします。
4. インポート元として [Cloud Storage] を選択し、Cloud Storage からノートブックを選択します。
5. [インポート] をクリックします。

6. ノートブックが読み込まれて開きます。

ノートブックの実行結果

ノートブックの実行結果を確認するには、すべてのセル出力を含むノートブックの完全なコピーを開きます。

1. Colab Enterprise の [実行] に移動します。
2. プルダウンから該当する地域を選択します。
3. 結果を表示するノートブック実行の横にある [結果を表示] をクリックします。
4. Colab Enterprise で、ノートブックの実行結果が新しいタブで開きます。
5. 結果を表示するには、新しいタブをクリックします。

ランタイム テンプレート

Google Cloud Colab Enterprise は、ランタイム テンプレートを使用して、事前構成された実行環境を定義します。Meridian ノートブックの実行に適した事前定義のランタイム テンプレートは、Meridian 用 Cortex のデプロイに含まれています。このテンプレートは、ノートブック実行のランタイム環境を作成するために自動的に使用されます。

必要に応じて、追加のランタイム テンプレートを手動で作成できます。