适用于 Meridian 的 Cortex

本页详细介绍了 Google Meridian 的数据修复和云自动化流程。适用于 Meridian 的 Cortex Framework 可利用跨媒体和销售数据简化开源营销组合建模 (MMM)。Cortex Framework 通过提供预配置的数据模型，并使用 Google Cloud Colab Enterprise 和 Workflows 等服务自动执行 Meridian 开源模型，简化了此流程。

Google Cloud Cortex Framework 的主要价值主张之一是为下一代企业智能提供数据和人工智能 (AI) 基础，从而实现涵盖销售、营销、订单履单和库存管理等关键领域的分析。

面向营销的 Cortex Framework 提供跨媒体平台关键绩效指标 (KPI) 和指标。这些指标是运行 Google 最新开源 MMM（名为 Meridian）的建模前数据准备步骤的重要组成部分。广告客户、代理机构和合作伙伴可以利用 Google Cloud Cortex Framework Data Foundation 加快模型构建前的数据准备流程。

Cortex for Meridian 可从核心 Cortex Framework 数据源高效收集和转换数据，从而简化建模前流程，包括：

• 跨媒体和产品关联数据分析。
• SAP（ECC 和 S/4 HANA）
• Oracle EBS

如需了解详情，请参阅 Meridian 文档。

配置文件

在执行笔记本时，系统会从 Cloud Storage 内的 configuration 文件夹中的 cortex_meridian_config.json 文件检索配置参数。

以下部分分享了适用于 Meridian 执行的不同配置 YAML 文件示例：

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

下表介绍了 cortex_meridian_config.json 文件中每个配置参数的值：

与 Meridian 的兼容性

Cortex Framework Data Foundation 和 Meridian 是单独发布的。Cortex Framework 版本说明概要介绍了其版本和变体。在 Meridian 的 GitHub 代码库中，您可以查看最新的 Meridian 版本。如需了解 Meridian 的前提条件和系统建议，请参阅 Meridian 的用户指南。

Cortex Framework Data Foundation 版本使用特定版本的 Meridian 进行测试。您可以在 Jupyter 笔记本中找到兼容的 Meridian，如下图所示：

如需更新到较新版本的 Meridian，请修改笔记本中的相应行。请注意，您可能需要在记事本中进行额外的代码调整。

数据模型

本部分使用实体关系图 (ERD) 介绍了 CrossMediaSalesInsightsWeeklyAgg 数据模型。

Cortex for Meridian 依赖于单个视图 CrossMediaSalesInsightsWeeklyAgg 来运行。此视图的数据源由 k9.Meridian.salesDataSourceType 配置设置决定，该设置可以是：

• BYOD（自有数据）：自定义数据集成。
• SAP_SALES：来自 SAP 系统的销售数据。
• ORACLE_SALES：来自 Oracle EBS 系统的销售数据。

以下部分分享了 CrossMediaForMeridian 的实体关系图：

下表显示了 CrossMediaSalesInsightsWeeklyAgg 视图的详细架构，该视图是 Meridian 版 Cortex 的一部分：

部署

本页概述了为 Meridian 部署 Cortex Framework 的步骤，以便在您的 Google Cloud 环境中实现一流的 MMM。

如需查看快速入门演示，请参阅 Meridian 快速入门演示。

架构

Cortex for Meridian 使用 Cortex Framework 来处理营销和跨媒体数据，并将其与销售数据结合使用。您可以从 Oracle EBS、SAP 或其他源系统导入销售数据。

下图介绍了 Cortex for Meridian 的关键组件：

Meridian 组件和服务

在部署 Cortex Framework Data Foundation 期间（请参阅部署前提条件），您可以在 config.json 文件中将 deployMeridian 设置为 true，以便为 Meridian 启用 Cortex。此选项会启动额外的 Cloud Build 流水线，该流水线会安装 Meridian 所需的以下组件和服务：

• BigQuery 视图：在 K9 报告数据集中创建一个名为 CrossMediaSalesInsightsWeeklyAgg 的视图。这样，您就可以从 Cortex Framework 查询营销数据和销售数据。视图和底层来源的实际实现取决于您在部署期间选择的销售数据源。

• Cloud Storage 存储分区：PROJECT_ID-cortex-meridian 存储分区包含 Cortex for Meridian 所需的所有工件，以及该工具生成的所有工件，这些工件位于以下文件夹中：

  • configuration：为 Meridian 定义 Cortex 的设置和参数。Colab Enterprise 笔记本会在笔记本执行期间使用此参数。
  • csv：运行 Meridian 时输出的原始数据将保存为 CSV 文件。
  • models：运行 Meridian 生成的模型将保存在此处。
  • notebook-run-logs：每个执行的笔记本副本和日志都将保存在此处。
  • notebooks：包含用于运行 Meridian 专用 Cortex 的代码和逻辑的主要记事本。此记事本旨在供您进一步自定义，以满足您的具体需求。
  • reporting：这是 Meridian 执行报告的保存位置。此外，还包含一个 HTML 模板，用于生成概览报告，其中包含指向 Meridian 报告输出的链接。

• Colab Enterprise：Colab Enterprise 是 Google Cloud 上的一项托管式服务，可为使用 Jupyter 笔记本的数据科学和机器学习工作流提供安全的协作环境。它提供托管式基础架构、企业级安全控制功能以及与其他服务的集成等功能，适合处理敏感数据且需要强大治理功能的团队。 Google Cloud 用于运行 Jupyter 笔记本的托管式环境。

Cortex for Meridian 使用 Colab Enterprise 定义一个包含所需基础架构的运行时模板，以自动运行 Meridian。

使用工作流触发端到端流水线时，系统会创建一个执行作业。这将运行 Cloud Storage 中当前 Jupyter 笔记本的副本，并使用最新配置。

• 工作流：一个名为 cortex-meridian-execute-notebook 的 Cloud Workflow 会编排整个 Cortex for Meridian 流水线的执行。该工作流将调用 Colab Enterprise API，该 API 会根据运行时模板创建运行时，并使用当前配置执行笔记本运行，最后将所有结果保存到 Cloud Storage。

  

  您可以为该工作流使用以下两种可选配置选项：

  1. 如果您可以将新的 Cortex for Meridian JSON 配置作为工作流的输入提供给我们。如果您这样做，该流程将备份旧配置，并使用您的输入更新配置。如需了解详情，请参阅 REPLACE。

  

  1. 在运行该 Notebook 之前，您可以通过 pre_notebook_execution 步骤启动需要自动执行的任何其他任务。例如，从 Cortex 以外的来源加载数据。

• 服务账号：在部署期间，必须提供专用服务账号。这对于在 Colab Enterprise 中执行工作流和笔记本至关重要。

Meridian 的其他部署参数

config.json 文件用于配置使用 Cortex Framework 运行 Meridian 所需的设置。此文件包含 Cortex for Meridian 的以下参数：

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

下表介绍了每个 Meridian 参数的值和说明：

工作流

工作流是启动 Cortex for Meridian 执行的主要接口。系统会在 Meridian 专用 Cortex 中部署一个名为 cortex-meridian-execute-notebook 的默认工作流。

笔记本执行

如需开始新的 Cortex for Meridian 执行，请按以下步骤操作：

1. 前往“Workflows”中的 cortex-meridian-execute-notebook 笔记本。
2. 点击执行以开始新的执行。
3. 对于初始运行，请将输入字段留空，以使用存储在 Cloud Storage 中的 cortex_meridian_config.json 配置文件中的默认配置。
4. 再次点击执行以继续。

5. 短暂延迟后，系统会显示工作流执行状态：

   

6. 在 Colab Enterprise 中跟踪笔记本执行进度。

工作流步骤

cortex-meridian-execute-notebook 工作流包含以下步骤：

自定义 Meridian 执行工作流

您可以在“工作流”输入字段中提供自己的配置 JSON 文件，以自定义 Meridian 执行方式：

1. 将修改后的配置的完整 JSON 输入到输入字段中。
2. 然后，该工作流将执行以下操作：
   1. 将 Cloud Storage 中的现有 cortex_meridian_config.json 文件替换为所提供的 JSON。
   2. 在 Cloud Storage/configuration 目录中创建原始配置文件的备份。
   3. 备份文件名将采用 cortex_meridian_config_workflow_backup_workflow_execution_id.json 格式，其中 workflow_execution_id 是当前工作流执行的唯一标识符（例如 cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json）

Jupyter 笔记本概览

用于加载输入数据以运行和执行 Meridian 模型的核心功能由 Python 笔记本 meridian_cortex_marketing.ipynb 处理，该笔记本位于 Cloud Storage 存储分区的 notebooks 文件夹中。

该笔记本的执行流程包括以下步骤：

1. 安装必要的软件包（包括 Meridian）并导入所需的库。
2. 加载用于与 Cloud Storage 和 BigQuery 交互的辅助函数。
3. 从 Cloud Storage 中的 configuration/cortex_meridian_config.json 文件检索执行配置。
4. 从 BigQuery 中的 Cortex Framework Data Foundation 视图加载 Cortex Framework 数据。
5. 配置 Meridian 模型规范，并将用于营销和销售的 Cortex Framework Data Foundation 数据模型映射到 Meridian 模型输入架构。
6. 执行 Meridian 抽样并生成摘要报告，保存到 Cloud Storage (/reporting)。
7. 针对默认场景运行预算优化器，并将摘要报告输出到 Cloud Storage (/reporting)。
8. 将模型保存到 Cloud Storage (/models)。
9. 将 CSV 结果保存到 Cloud Storage (/csv)。
10. 生成概览报告并将其保存到 Cloud Storage (/reporting)。

导入笔记本以进行手动执行和修改

如需自定义或手动执行该笔记本，请从 Cloud Storage 导入该笔记本：

1. 前往 Colab Enterprise。
2. 点击我的笔记本。
3. 点击导入。
4. 选择 Cloud Storage 作为导入源，然后从 Cloud Storage 中选择该笔记本。
5. 点击导入。

6. 系统会加载并打开该笔记本。

笔记本执行结果

如需查看笔记本运行结果，请打开包含所有单元格输出的完整笔记本副本：

1. 在 Colab Enterprise 中，前往执行作业。
2. 从下拉菜单中选择相关区域。
3. 在要查看结果的笔记本运行作业旁边，点击查看结果。
4. Colab Enterprise 会在新标签页中打开笔记本运行结果。
5. 如需查看结果，请点击新标签页。

运行时模板

Google Cloud Colab Enterprise 使用运行时模板来定义预配置的执行环境。Cortex for Meridian 部署中包含一个适合运行 Meridian 笔记本的预定义运行时模板。系统会自动使用此模板为笔记本执行创建运行时环境。

如有需要，您可以手动创建其他运行时模板。