Cortex para Meridian

En esta página, se detalla el proceso de preparación de datos y automatización en la nube para Google Meridian. Cortex Framework para Meridian optimiza el modelado de combinación de marketing (MMM) de código abierto con datos de ventas y de medios múltiples. Cortex Framework simplifica este proceso, ya que proporciona modelos de datos preconfigurados y automatiza la ejecución del modelo de código abierto de Meridian con servicios de Google Cloud como Colab Enterprise y Workflows.

Una de las principales propuestas de valor de Google Cloud Cortex Framework es proporcionar una base de datos y de inteligencia artificial (IA) para la inteligencia empresarial de próxima generación que permita el análisis en áreas clave, como ventas, marketing, cumplimiento de pedidos y administración de inventario.

Cortex Framework para marketing proporciona indicadores clave de rendimiento (KPI) y métricas en todas las plataformas de medios. Estas métricas son una parte importante del paso de preparación de los datos previos al modelado para ejecutar el MMM de código abierto más reciente de Google, llamado Meridian. Los anunciantes, las agencias y los socios pueden acelerar el proceso de preparación de datos previo al modelado aprovechando la base de datos de Cortex Framework de Google Cloud.

Cortex para Meridian simplifica el proceso previo al modelado, ya que recopila y transforma de manera eficiente los datos de las fuentes de datos principales de Cortex Framework, incluidas las siguientes:

• Estadísticas conectadas de productos y medios.
• SAP (ECC y S/4HANA)
• Oracle EBS

Para obtener más información, consulta la documentación de Meridian.

Archivo de configuración

Durante la ejecución del notebook, el sistema recupera los parámetros de configuración del archivo cortex_meridian_config.json ubicado en la carpeta configuration dentro de Cloud Storage.

En la siguiente sección, se comparten diferentes ejemplos de archivos YAML de configuración para la ejecución de Meridian:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

En la siguiente tabla, se describe el valor de cada parámetro de configuración del archivo cortex_meridian_config.json:

Compatibilidad con Meridian

Cortex Framework Data Foundation y Meridian se lanzan por separado. Las notas de la versión de Cortex Framework proporcionan una descripción general de sus versiones. En el repositorio de GitHub de Meridian, puedes ver las versiones más recientes disponibles de Meridian. Los requisitos previos y las recomendaciones del sistema de Meridian están disponibles en la guía del usuario de Meridian.

Las versiones de Cortex Framework Data Foundation se prueban con una versión específica de Meridian. Puedes encontrar el Meridian compatible en el notebook de Jupyter, como se muestra en la siguiente imagen:

Para actualizar a una versión más reciente de Meridian, modifica la línea correspondiente en el notebook. Ten en cuenta que es posible que se requieran ajustes de código adicionales en el notebook.

Modelo de datos

En esta sección, se describe el modelo de datos de CrossMediaSalesInsightsWeeklyAgg con el diagrama de relación entre entidades (ERD).

Cortex para Meridian se basa en una sola vista, CrossMediaSalesInsightsWeeklyAgg, para funcionar. La fuente de datos de esta vista se determina según el parámetro de configuración k9.Meridian.salesDataSourceType, que puede ser uno de los siguientes:

• BYOD (Aporta tus propios datos): Integración de datos personalizados.
• SAP_SALES: Son los datos de ventas de los sistemas SAP.
• ORACLE_SALES: Son los datos de ventas de los sistemas de Oracle EBS.

En la siguiente sección, se comparten los diagramas de relación entre entidades para CrossMediaForMeridian:

En la siguiente tabla, se muestra el esquema detallado de la vista CrossMediaSalesInsightsWeeklyAgg, que forma parte de Cortex para Meridian:

Implementación

En esta página, se describen los pasos para implementar Cortex Framework para Meridian, lo que permite el mejor MMM de su clase en tu entorno de Google Cloud .

Para ver una demostración de inicio rápido, consulta Demostración de inicio rápido para Meridian.

Arquitectura

Cortex para Meridian usa Cortex Framework para el marketing y los datos de medios múltiples combinados con datos de ventas. Puedes importar datos de ventas de Oracle EBS, SAP o cualquier otro sistema fuente.

En el siguiente diagrama, se describen los componentes clave de Cortex para Meridian:

Componentes y servicios de Meridian

Durante la implementación de Cortex Framework Data Foundation (consulta los requisitos previos de implementación), puedes habilitar Cortex para Meridian configurando deployMeridian en true en el archivo config.json. Esta opción inicia una canalización adicional de Cloud Build, que instala los siguientes componentes y servicios necesarios para Meridian:

• Vista de BigQuery: Se crea una vista en el conjunto de datos de informes de K9 llamada CrossMediaSalesInsightsWeeklyAgg. Esto permite consultar datos de marketing y ventas desde Cortex Framework. La implementación real de la vista y las fuentes subyacentes dependen de la fuente de datos de ventas que selecciones durante la implementación.

• Bucket de Cloud Storage: El bucket PROJECT_ID-cortex-meridian contiene todos los artefactos que Cortex necesita y produce para Meridian en las siguientes carpetas:

  • configuration: Define la configuración y los parámetros de Cortex para Meridian. El notebook de Colab Enterprise lo usa durante la ejecución.
  • csv: Los datos sin procesar que se obtienen de la ejecución de Meridian se guardarán aquí como archivos CSV.
  • models: Aquí se guardará el modelo generado después de ejecutar Meridian.
  • notebook-run-logs: Aquí se guardarán las copias de los notebooks para cada ejecución y los registros.
  • notebooks: Contiene el notebook principal con el código y la lógica para ejecutar Cortex para Meridian. Este notebook está diseñado para que lo personalices aún más y se adapte a tus necesidades y requisitos específicos.
  • reporting: Es la carpeta en la que se guardarán los informes de las ejecuciones de Meridian. También contiene una plantilla HTML para generar un informe de resumen con vínculos a los resultados del informe de Meridian.

• Colab Enterprise: Colab Enterprise es un servicio administrado en Google Cloud que proporciona un entorno seguro y colaborativo para los flujos de trabajo de ciencia de datos y aprendizaje automático con notebooks de Jupyter. Ofrece funciones como infraestructura administrada, controles de seguridad de nivel empresarial y la integración con otros servicios de Google Cloud , lo que lo hace adecuado para los equipos que trabajan con datos sensibles y requieren una administración sólida. Es un entorno administrado para ejecutar el notebook de Jupyter.

Cortex para Meridian usa Colab Enterprise para definir una plantilla de entorno de ejecución con la infraestructura necesaria para automatizar las ejecuciones de Meridian.

Cuando se activa la canalización de extremo a extremo con el flujo de trabajo, se crea una ejecución. Esto ejecutará una copia del notebook de Jupyter actual desde Cloud Storage con la configuración más reciente.

• Flujo de trabajo: Un flujo de trabajo de Cloud llamado cortex-meridian-execute-notebook organiza la ejecución de la canalización completa de Cortex para Meridian. El flujo de trabajo llamará a la API de Colab Enterprise, que crea un tiempo de ejecución basado en la plantilla de tiempo de ejecución y ejecuta una ejecución de notebook con la configuración actual. Por último, guarda todos los resultados en Cloud Storage.

  

  Tienes dos opciones de configuración opcionales disponibles para el flujo de trabajo:

  1. Si puedes proporcionar una nueva configuración de Cortex para Meridian en formato JSON como entrada para el flujo de trabajo Si lo haces, el flujo creará una copia de seguridad de la configuración anterior y la actualizará con tu entrada. Consulta REPLACE para obtener más información.

  

  1. El paso pre_notebook_execution es un excelente lugar para iniciar cualquier tarea adicional que necesites automatizar antes de ejecutar el notebook. Por ejemplo, cargar datos de fuentes externas a Google Cloud Cortex Framework

• Cuenta de servicio: Se requiere una cuenta de servicio dedicada durante la implementación. Esto es necesario para ejecutar el flujo de trabajo y el notebook en Colab Enterprise.

Parámetros de implementación adicionales para Meridian

El archivo config.json configura los parámetros necesarios para ejecutar Meridian con Cortex Framework. Este archivo contiene los siguientes parámetros para Cortex para Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

En la siguiente tabla, se describen el valor y la descripción de cada parámetro de Meridian:

Flujo de trabajo

Los flujos de trabajo son la interfaz principal para iniciar las ejecuciones de Cortex para Meridian. Se implementa un flujo de trabajo predeterminado llamado cortex-meridian-execute-notebook como parte de Cortex para Meridian.

Ejecución del notebook

Para iniciar una nueva ejecución de Cortex para Meridian, sigue estos pasos:

1. Ve al notebook cortex-meridian-execute-notebook en Workflows.
2. Haz clic en Ejecutar para iniciar una nueva ejecución.
3. Para las ejecuciones iniciales, deja el campo de entrada vacío para usar la configuración predeterminada almacenada en el archivo de configuración cortex_meridian_config.json en Cloud Storage.
4. Vuelve a hacer clic en Ejecutar para continuar.

5. Después de una breve demora, se mostrará el estado de ejecución del flujo de trabajo:

   

6. Realiza un seguimiento del progreso de la ejecución del notebook en Colab Enterprise.

Pasos del flujo de trabajo

El flujo de trabajo cortex-meridian-execute-notebook contiene los siguientes pasos:

Personaliza el flujo de trabajo de ejecución de Meridian

Puedes personalizar la ejecución de Meridian proporcionando tu propio archivo de configuración JSON en el campo de entrada de Workflows:

1. Ingresa el JSON completo de la configuración modificada en el campo de entrada.
2. Luego, el flujo de trabajo hará lo siguiente:
   1. Reemplaza el archivo cortex_meridian_config.json existente en Cloud Storage por el JSON proporcionado.
   2. Crea una copia de seguridad del archivo de configuración original en el directorio Cloud Storage/configuration.
   3. El nombre del archivo de copia de seguridad seguirá el formato cortex_meridian_config_workflow_backup_workflow_execution_id.json, en el que workflow_execution_id es un identificador único para la ejecución actual del flujo de trabajo (por ejemplo, cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json).

Descripción general del notebook de Jupyter

El notebook de Python meridian_cortex_marketing.ipynb, ubicado en la carpeta notebooks de tu bucket de Cloud Storage, controla la funcionalidad principal de cargar datos de entrada para ejecutar el modelo de Meridian.

El flujo de ejecución del notebook consta de los siguientes pasos:

1. Instala los paquetes necesarios (incluido Meridian) y, luego, importa las bibliotecas requeridas.
2. Carga funciones auxiliares para interactuar con Cloud Storage y BigQuery.
3. Recupera la configuración de ejecución del archivo configuration/cortex_meridian_config.json en Cloud Storage.
4. Carga datos de Cortex Framework desde la vista Cortex Framework Data Foundation en BigQuery.
5. Configura la especificación del modelo de Meridian y asigna los modelos de datos de la Data Foundation de Cortex Framework para marketing y ventas al esquema de entrada del modelo de Meridian.
6. Ejecuta el muestreo de Meridian y genera un informe de resumen, que se guarda en Cloud Storage (/reporting).
7. Ejecuta el optimizador de presupuesto para el escenario predeterminado y genera el informe de resumen en Cloud Storage (/reporting).
8. Guarda el modelo en Cloud Storage (/models).
9. Guarda los resultados en formato CSV en Cloud Storage (/csv).
10. Genera un informe de resumen y guárdalo en Cloud Storage (/reporting).

Importa un notebook para su ejecución y edición manual

Para personalizar o ejecutar el notebook de forma manual, impórtalo desde Cloud Storage:

1. Ve a Colab Enterprise.
2. Haz clic en Mis notebooks.
3. Haz clic en Importar.
4. Selecciona Cloud Storage como la fuente de importación y, luego, selecciona el notebook de Cloud Storage.
5. Haz clic en Importar.

6. Se cargará y abrirá el notebook.

Resultados de las ejecuciones de notebooks

Para revisar los resultados de la ejecución del notebook, abre una copia completa del notebook con todos los resultados de las celdas:

1. Ve a Ejecuciones en Colab Enterprise.
2. Selecciona la región correspondiente en el menú desplegable.
3. Junto a la ejecución del notebook para la que deseas ver los resultados, haz clic en Ver resultado.
4. Colab Enterprise abrirá el resultado de la ejecución del notebook en una pestaña nueva.
5. Para ver el resultado, haz clic en la pestaña nueva.

Plantilla de entorno de ejecución

Google Cloud Colab Enterprise usa plantillas de entorno de ejecución para definir entornos de ejecución preconfigurados. La implementación de Cortex para Meridian incluye una plantilla de tiempo de ejecución predefinida, adecuada para ejecutar el notebook de Meridian. Esta plantilla se usa automáticamente para crear entornos de ejecución para las ejecuciones de notebooks.

Si es necesario, puedes crear manualmente plantillas de entorno de ejecución adicionales.