Cortex for Meridian

Questa pagina descrive in dettaglio il processo di preparazione dei dati e automazione del cloud per Google Meridian. Cortex Framework per Meridian semplifica la modellazione del mix di marketing (MMM) open source con dati cross-media e di vendita. Cortex Framework semplifica questo processo fornendo modelli di dati preconfigurati e automatizzando l'esecuzione del modello open source Meridian utilizzando servizi come Colab Enterprise e Workflows. Google Cloud

Una delle principali proposte di valore di Google Cloud Cortex Framework è fornire una base di dati e di intelligenza artificiale (AI) per l'intelligence aziendale di nuova generazione, che consente analisi che spaziano in aree chiave come vendite, marketing, evasione degli ordini e gestione dell'inventario.

Cortex Framework for marketing fornisce indicatori chiave di prestazione (KPI) e metriche cross-media. Queste metriche sono una parte significativa del passaggio di preparazione dei dati pre-modeling per l'esecuzione dell'ultimo strumento di Marketing Mix Modeling open source di Google chiamato Meridian. Inserzionisti, agenzie e partner possono accelerare il processo di preparazione dei dati pre-modello sfruttando Google Cloud Cortex Framework Data Foundation.

Cortex for Meridian semplifica il processo di pre-modellazione raccogliendo e trasformando in modo efficiente i dati dalle origini dati principali di Cortex Framework, tra cui:

• Approfondimenti cross-media e sui prodotti connessi.
• SAP (ECC e S/4 HANA)
• Oracle EBS

Per saperne di più, consulta la documentazione di Meridian.

File di configurazione

Durante l'esecuzione del notebook, il sistema recupera i parametri di configurazione dal file cortex_meridian_config.json che si trova nella cartella configuration in Cloud Storage.

La sezione seguente condivide diversi esempi di file YAML di configurazione per l'esecuzione di Meridian:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

La seguente tabella descrive il valore di ogni parametro di configurazione del file cortex_meridian_config.json:

Compatibilità con Meridian

Cortex Framework Data Foundation e Meridian vengono rilasciati separatamente. Le note di rilascio di Cortex Framework forniscono una panoramica delle release e delle versioni. Nel repository GitHub di Meridian puoi visualizzare le ultime versioni disponibili di Meridian. I prerequisiti e i consigli di sistema di Meridian sono disponibili nella guida dell'utente di Meridian.

Le release di Cortex Framework Data Foundation vengono testate con una versione specifica di Meridian. Puoi trovare il Meridiano compatibile nel blocco note Jupyter, come mostrato nell'immagine seguente:

Per eseguire l'aggiornamento a una versione più recente di Meridian, modifica la riga corrispondente nel notebook. Tieni presente che potrebbero essere necessari ulteriori aggiustamenti del codice nel notebook.

Modello dati

Questa sezione descrive il modello di dati CrossMediaSalesInsightsWeeklyAgg utilizzando il diagramma entità-relazione (ERD).

Cortex for Meridian si basa su una singola visualizzazione, CrossMediaSalesInsightsWeeklyAgg, per funzionare. L'origine dati per questa visualizzazione è determinata dall'impostazione di configurazione k9.Meridian.salesDataSourceType, che può essere:

• BYOD (Bring Your Own Data): integrazione dei dati personalizzati.
• SAP_SALES: dati di vendita dei sistemi SAP.
• ORACLE_SALES: dati di vendita dei sistemi Oracle EBS.

La sezione seguente mostra i diagrammi delle relazioni tra entità per CrossMediaForMeridian:

La seguente tabella mostra lo schema dettagliato della vista CrossMediaSalesInsightsWeeklyAgg che fa parte di Cortex per Meridian:

Deployment

Questa pagina descrive i passaggi per implementare Cortex Framework per Meridian, consentendo la migliore MMM della categoria nel tuo ambiente Google Cloud .

Per una demo della guida rapida, consulta Demo della guida rapida per Meridian.

Architettura

Cortex for Meridian utilizza Cortex Framework per il marketing e i dati cross-media combinati con i dati di vendita. Puoi importare i dati sulle vendite da Oracle EBS, SAP o da un altro sistema di origine.

Il seguente diagramma descrive i componenti chiave di Cortex per Meridian:

Componenti e servizi Meridian

Durante il deployment di Cortex Framework Data Foundation (vedi prerequisiti di deployment), puoi attivare Cortex per Meridian impostando deployMeridian su true nel file config.json. Questa opzione avvia una pipeline Cloud Build aggiuntiva, che installa i seguenti componenti e servizi richiesti per Meridian:

• Vista BigQuery: una vista viene creata nel set di dati dei report K9 denominato CrossMediaSalesInsightsWeeklyAgg. Ciò consente di eseguire query sui dati di marketing e di vendita da Cortex Framework. L'implementazione effettiva della visualizzazione e delle origini sottostanti dipende dall'origine dati di vendita che selezioni durante il deployment.

• Bucket Cloud Storage:il bucket PROJECT_ID-cortex-meridian contiene tutti gli artefatti necessari e prodotti da Cortex per Meridian nelle seguenti cartelle:

  • configuration: definisci le impostazioni e i parametri per Cortex per Meridian. Viene utilizzato dal notebook Colab Enterprise durante l'esecuzione del notebook.
  • csv: i dati non elaborati generati dall'esecuzione di Meridian verranno salvati qui come file CSV.
  • models: il modello generato dall'esecuzione di Meridian verrà salvato qui.
  • notebook-run-logs: le copie dei notebook per ogni esecuzione e i log verranno salvati qui.
  • notebooks: contiene il notebook principale con il codice e la logica per l'esecuzione di Cortex per Meridian. Questo blocco note è destinato a un'ulteriore personalizzazione per soddisfare le tue esigenze e i tuoi requisiti specifici.
  • reporting: questa è la cartella in cui verranno salvati i report delle esecuzioni di Meridian. Contiene anche un modello HTML per generare un report di panoramica con link all'output del report di Meridian.

• Colab Enterprise: Colab Enterprise è un servizio gestito su Google Cloud che fornisce un ambiente sicuro e collaborativo per i flussi di lavoro di data science e machine learning utilizzando i notebook Jupyter. Offre funzionalità come infrastruttura gestita, controlli di sicurezza di livello aziendale e integrazione con altri servizi Google Cloud , il che lo rende adatto ai team che lavorano con dati sensibili e richiedono una governance solida. Un ambiente gestito per l'esecuzione del notebook Jupyter.

Cortex for Meridian utilizza Colab Enterprise per definire un modello di runtime con l'infrastruttura richiesta per automatizzare le esecuzioni di Meridian.

Quando viene attivata la pipeline end-to-end utilizzando il flusso di lavoro, viene creata un'esecuzione. Verrà eseguita una copia del notebook Jupyter corrente da Cloud Storage con la configurazione più recente.

• Workflow: un workflow Cloud chiamato cortex-meridian-execute-notebook orchestra l'esecuzione dell'intera pipeline Cortex for Meridian. Il flusso di lavoro chiamerà l'API Colab Enterprise che crea un runtime basato sul modello di runtime ed esegue un'esecuzione del notebook con le configurazioni attuali e infine salva tutti i risultati in Cloud Storage.

  

  Per il flusso di lavoro sono disponibili due opzioni di configurazione facoltative:

  1. Se puoi fornire una nuova configurazione JSON di Cortex for Meridian come input del flusso di lavoro. In questo modo, il flusso eseguirà un backup della vecchia configurazione e la aggiornerà con i dati inseriti. Per saperne di più, consulta SOSTITUISCI.

  

  1. Il passaggio pre_notebook_execution è un ottimo punto di partenza per avviare eventuali attività aggiuntive da automatizzare prima di eseguire il blocco note. Ad esempio, il caricamento di dati da origini esterne a Google Cloud Cortex Framework.

• Service Account: durante il deployment è necessario fornire un service account dedicato. Questo è necessario per eseguire il flusso di lavoro e il notebook in Colab Enterprise.

Parametri di deployment aggiuntivi per Meridian

Il file config.json configura le impostazioni necessarie per eseguire Meridian con Cortex Framework. Questo file contiene i seguenti parametri per Cortex for Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

La tabella seguente descrive il valore e la descrizione di ogni parametro di Meridian:

Flusso di lavoro

I flussi di lavoro fungono da interfaccia principale per avviare le esecuzioni di Cortex per Meridian. Un flusso di lavoro predefinito chiamato cortex-meridian-execute-notebook viene implementato nell'ambito di Cortex per Meridian.

Esecuzione del notebook

Per avviare una nuova esecuzione di Cortex for Meridian, segui questi passaggi:

1. Vai al notebook cortex-meridian-execute-notebook in Workflows.
2. Fai clic su Esegui per avviare una nuova esecuzione.
3. Per le esecuzioni iniziali, lascia vuoto il campo di input per utilizzare la configurazione predefinita memorizzata nel cortex_meridian_config.json file di configurazione in Cloud Storage.
4. Fai di nuovo clic su Esegui per continuare.

5. Dopo un breve ritardo, viene visualizzato lo stato di esecuzione del flusso di lavoro:

   

6. Monitora l'avanzamento dell'esecuzione del notebook in Colab Enterprise.

Passaggi del workflow

Il flusso di lavoro cortex-meridian-execute-notebook contiene i seguenti passaggi:

Personalizzare il flusso di lavoro di esecuzione di Meridian

Puoi personalizzare l'esecuzione di Meridian fornendo il tuo file JSON di configurazione nel campo di input di Workflows:

1. Inserisci il file JSON completo della configurazione modificata nel campo di input.
2. Il flusso di lavoro:
   1. Sostituisci il file cortex_meridian_config.json esistente in Cloud Storage con il file JSON fornito.
   2. Crea un backup del file di configurazione originale nella directory Cloud Storage/configuration.
   3. Il nome del file di backup seguirà il formato cortex_meridian_config_workflow_backup_workflow_execution_id.json, dove workflow_execution_id è un identificatore univoco per l'esecuzione del flusso di lavoro corrente (ad esempio, cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json)

Panoramica del notebook Jupyter

La funzionalità di base di caricamento dei dati di input per eseguire il modello Meridian viene gestita dal notebook Python meridian_cortex_marketing.ipynb, che si trova nella cartella notebooks del bucket Cloud Storage.

Il flusso di esecuzione del blocco note è costituito dai seguenti passaggi:

1. Installa i pacchetti necessari (incluso Meridian) e importa le librerie richieste.
2. Carica le funzioni helper per interagire con Cloud Storage e BigQuery.
3. Recupera la configurazione di esecuzione dal file configuration/cortex_meridian_config.json in Cloud Storage.
4. Carica i dati di Cortex Framework dalla visualizzazione della base dati di Cortex Framework in BigQuery.
5. Configura la specifica del modello Meridian e mappa i modelli di dati di Cortex Framework Data Foundation per il marketing e le vendite allo schema di input del modello Meridian.
6. Esegue il campionamento Meridian e genera un report di riepilogo, salvato in Cloud Storage (/reporting).
7. Esegui lo strumento di ottimizzazione del budget per lo scenario predefinito e genera il report di riepilogo dell'output in Cloud Storage (/reporting).
8. Salva il modello in Cloud Storage (/models).
9. Salva i risultati CSV in Cloud Storage (/csv).
10. Genera un report di riepilogo e salvalo in Cloud Storage (/reporting).

Importare il notebook per l'esecuzione e la modifica manuali

Per personalizzare o eseguire manualmente il notebook, importalo da Cloud Storage:

1. Vai a Colab Enterprise.
2. Fai clic su I miei blocchi note.
3. Fai clic su Importa.
4. Seleziona Cloud Storage come origine di importazione e seleziona il blocco note da Cloud Storage.
5. Fai clic su Importa.

6. Il blocco note verrà caricato e aperto.

Risultati delle esecuzioni del notebook

Per esaminare i risultati dell'esecuzione del blocco note, apri una copia completa del blocco note con tutti gli output delle celle:

1. Vai a Esecuzioni in Colab Enterprise.
2. Seleziona la regione pertinente dal menu a discesa.
3. Accanto all'esecuzione del blocco note per cui vuoi visualizzare i risultati, fai clic su Visualizza risultato.
4. Colab Enterprise aprirà il risultato dell'esecuzione del notebook in una nuova scheda.
5. Per visualizzare il risultato, fai clic sulla nuova scheda.

Modello di runtime

Google Cloud Colab Enterprise utilizza i modelli di runtime per definire ambienti di esecuzione preconfigurati. Un modello di runtime predefinito, adatto per l'esecuzione del notebook Meridian, è incluso nel deployment di Cortex per Meridian. Questo modello viene utilizzato automaticamente per creare ambienti di runtime per le esecuzioni dei notebook.

Se necessario, puoi creare manualmente altri modelli di runtime.