Cortex für Meridian

Auf dieser Seite wird der Prozess der Datenvorbereitung und Cloud-Automatisierung für Google Meridian beschrieben. Cortex Framework für Meridian optimiert die Open-Source-Marketing-Mix-Modellierung (MMM) mit Media- und Verkaufsdaten. Cortex Framework vereinfacht diesen Prozess durch die Bereitstellung vorkonfigurierter Datenmodelle und die Automatisierung der Ausführung von Meridian-Open-Source-Modellen mit Google Cloud Diensten wie Colab Enterprise und Workflows.

Einer der wichtigsten Vorteile des Google Cloud Cortex Framework ist die Bereitstellung einer Daten- und KI-Grundlage für die nächste Generation von Unternehmensinformationen, die Analysen in wichtigen Bereichen wie Vertrieb, Marketing, Auftragsabwicklung und Bestandsverwaltung ermöglicht.

Das Cortex Framework für Marketing bietet plattformübergreifende Media-KPIs und ‑Messwerte. Diese Messwerte sind ein wichtiger Bestandteil des Schritts zur Vorbereitung der Daten vor der Modellierung für das neueste Open-Source-MMM von Google namens Meridian. Werbetreibende, Agenturen und Partner können die Datenvorbereitung vor der Modellierung mit Google Cloud Cortex Framework Data Foundation beschleunigen.

Cortex for Meridian vereinfacht die Vormodellierung, indem Daten aus wichtigen Cortex Framework-Datenquellen effizient erfasst und transformiert werden. Dazu gehören:

• Cross-Media- und produktbezogene Statistiken:
• SAP (ECC und S/4 HANA)
• Oracle EBS

Weitere Informationen finden Sie in der Meridian-Dokumentation.

Konfigurationsdatei

Während der Notebook-Ausführung ruft das System Konfigurationsparameter aus der Datei cortex_meridian_config.json ab, die sich im Ordner configuration in Cloud Storage befindet.

Im folgenden Abschnitt finden Sie verschiedene Beispiele für YAML-Konfigurationsdateien für die Meridian-Ausführung:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

In der folgenden Tabelle wird der Wert für jeden Konfigurationsparameter aus der Datei cortex_meridian_config.json beschrieben:

Kompatibilität mit Meridian

Cortex Framework Data Foundation und Meridian werden separat veröffentlicht. Die Versionshinweise zum Cortex Framework enthalten eine Übersicht über die Releases und Versionen. Im GitHub-Repository von Meridian finden Sie die neuesten verfügbaren Meridian-Versionen. Voraussetzungen und Systemempfehlungen für Meridian finden Sie im Meridian-Nutzerhandbuch.

Cortex Framework Data Foundation-Releases werden mit einer bestimmten Version von Meridian getestet. Das kompatible Meridian finden Sie im Jupyter-Notebook, wie im folgenden Bild dargestellt:

Wenn Sie auf eine neuere Meridian-Version aktualisieren möchten, ändern Sie die entsprechende Zeile im Notebook. Möglicherweise sind zusätzliche Codeanpassungen im Notebook erforderlich.

Datenmodell

In diesem Abschnitt wird das CrossMediaSalesInsightsWeeklyAgg-Datenmodell anhand des Entity-Relationship-Diagramms (ERD) beschrieben.

Cortex für Meridian basiert auf einer einzelnen Ansicht, CrossMediaSalesInsightsWeeklyAgg. Die Datenquelle für diese Ansicht wird durch die Konfigurationseinstellung k9.Meridian.salesDataSourceType bestimmt. Mögliche Werte sind:

• BYOD (Bring Your Own Data): Benutzerdefinierte Datenintegration.
• SAP_SALES: Verkaufsdaten aus SAP-Systemen.
• ORACLE_SALES: Verkaufsdaten aus Oracle EBS-Systemen.

Im folgenden Abschnitt finden Sie die Entity-Relationship-Diagramme für CrossMediaForMeridian:

In der folgenden Tabelle sehen Sie das detaillierte Schema für die Ansicht CrossMediaSalesInsightsWeeklyAgg, die Teil von Cortex für Meridian ist:

Bereitstellung

Auf dieser Seite wird beschrieben, wie Sie das Cortex Framework für Meridian bereitstellen, um in Ihrer Google Cloud -Umgebung die beste MMM-Lösung zu erhalten.

Eine Kurzanleitung finden Sie unter Kurzanleitung für Meridian.

Architektur

Cortex for Meridian verwendet Cortex Framework für Marketing und Cross-Media-Daten in Kombination mit Verkaufsdaten. Sie können Vertriebsdaten aus Oracle EBS, SAP oder einem anderen Quellsystem importieren.

Das folgende Diagramm zeigt die wichtigsten Komponenten von Cortex für Meridian:

Meridian-Komponenten und -Dienste

Während der Bereitstellung von Cortex Framework Data Foundation (siehe Voraussetzungen für die Bereitstellung) können Sie Cortex für Meridian aktivieren, indem Sie in der Datei config.json deployMeridian auf true festlegen. Mit dieser Option wird eine zusätzliche Cloud Build-Pipeline gestartet, in der die folgenden für Meridian erforderlichen Komponenten und Dienste installiert werden:

• BigQuery-Ansicht: Im K9-Berichtsdataset wird eine Ansicht mit dem Namen CrossMediaSalesInsightsWeeklyAgg erstellt. So können Sie Marketing- und Verkaufsdaten aus Cortex Framework abfragen. Die tatsächliche Implementierung der Ansicht und der zugrunde liegenden Quellen hängt von der Vertriebsdatenquelle ab, die Sie bei der Bereitstellung auswählen.

• Cloud Storage-Bucket:Der PROJECT_ID-cortex-meridian-Bucket enthält alle Artefakte, die von Cortex für Meridian benötigt und erstellt werden, in den folgenden Ordnern:

  • configuration: Einstellungen und Parameter für Cortex für Meridian definieren. Sie wird vom Colab Enterprise-Notebook während der Notebook-Ausführung verwendet.
  • csv: Die Rohdatenausgabe aus der Ausführung von Meridian wird hier als CSV-Dateien gespeichert.
  • models: Das generierte Modell aus der Ausführung von Meridian wird hier gespeichert.
  • notebook-run-logs: Hier werden Notebook-Kopien für die einzelnen Ausführungen und Logs gespeichert.
  • notebooks: Enthält das Haupt-Notebook mit Code und Logik für die Ausführung von Cortex für Meridian. Dieses Notebook ist für die weitere Anpassung an Ihre spezifischen Anforderungen vorgesehen.
  • reporting: In diesem Ordner werden Berichte aus Meridian-Ausführungen gespeichert. Enthält auch eine HTML-Vorlage zum Generieren eines Übersichtsberichts mit Links zur Berichtsausgabe von Meridian.

• Colab Enterprise:Colab Enterprise ist ein verwalteter Dienst auf Google Cloud , der eine sichere und kollaborative Umgebung für Data-Science- und Machine-Learning-Workflows mit Jupyter-Notebooks bietet. Sie bietet Funktionen wie verwaltete Infrastruktur, Sicherheitskontrollen auf Unternehmensniveau und Integration mit anderen Google Cloud -Diensten. Daher eignet sie sich für Teams, die mit sensiblen Daten arbeiten und eine robuste Governance benötigen. Eine verwaltete Umgebung zum Ausführen des Jupyter-Notebooks.

Cortex für Meridian verwendet Colab Enterprise, um eine Laufzeitvorlage mit der erforderlichen Infrastruktur zu definieren, um Meridian-Ausführungen zu automatisieren.

Wenn Sie die End-to-End-Pipeline mit einem Workflow auslösen, wird eine Ausführung erstellt. Dadurch wird eine Kopie des aktuellen Jupyter-Notebooks aus Cloud Storage mit der neuesten Konfiguration ausgeführt.

• Workflow:Ein Cloud-Workflow mit dem Namen cortex-meridian-execute-notebook orchestriert die Ausführung der gesamten Cortex for Meridian-Pipeline. Im Workflow wird die Colab Enterprise API aufgerufen, die eine Laufzeit basierend auf der Laufzeitvorlage erstellt und einen Notebook-Lauf mit den aktuellen Konfigurationen ausführt. Schließlich werden alle Ergebnisse in Cloud Storage gespeichert.

  

  Für den Workflow stehen zwei optionale Konfigurationsoptionen zur Verfügung:

  1. Wenn Sie eine neue Cortex for Meridian-JSON-Konfiguration als Eingabe für den Workflow bereitstellen können. In diesem Fall wird eine Sicherung der alten Konfiguration erstellt und die Konfiguration mit Ihren Eingaben aktualisiert. Weitere Informationen finden Sie unter REPLACE.

  

  1. Im Schritt pre_notebook_execution können Sie alle zusätzlichen Aufgaben starten, die Sie vor dem Ausführen des Notebooks automatisieren müssen. Beispielsweise das Laden von Daten aus Quellen außerhalb des Google Cloud Cortex Framework.

• Dienstkonto: Bei der Bereitstellung muss ein dediziertes Dienstkonto angegeben werden. Dies ist für die Ausführung des Workflows und des Notebooks in Colab Enterprise erforderlich.

Zusätzliche Bereitstellungsparameter für Meridian

In der Datei config.json werden die Einstellungen konfiguriert, die zum Ausführen von Meridian mit Cortex Framework erforderlich sind. Diese Datei enthält die folgenden Parameter für Cortex für Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

In der folgenden Tabelle werden die Werte und Beschreibungen für die einzelnen Meridian-Parameter aufgeführt:

Workflow

Workflows dienen als primäre Schnittstelle zum Starten von Cortex for Meridian-Ausführungen. Ein Standardworkflow namens cortex-meridian-execute-notebook wird als Teil von Cortex für Meridian bereitgestellt.

Notebook-Ausführung

So starten Sie eine neue Ausführung von Cortex for Meridian:

1. Rufen Sie das cortex-meridian-execute-notebook-Notebook in Workflows auf.
2. Klicken Sie auf Ausführen, um eine neue Ausführung zu starten.
3. Lassen Sie das Eingabefeld bei den ersten Ausführungen leer, um die Standardkonfiguration zu verwenden, die in der Konfigurationsdatei cortex_meridian_config.json in Cloud Storage gespeichert ist.
4. Klicken Sie noch einmal auf Ausführen, um fortzufahren.

5. Nach kurzer Zeit wird der Status der Workflow-Ausführung angezeigt:

   

6. Verfolgen Sie den Fortschritt der Notebook-Ausführung in Colab Enterprise.

Workflowschritte

Der cortex-meridian-execute-notebook-Workflow umfasst die folgenden Schritte:

Meridian-Ausführungsworkflow anpassen

Sie können die Ausführung von Meridian anpassen, indem Sie eine eigene JSON-Konfigurationsdatei im Eingabefeld „Workflows“ angeben:

1. Geben Sie das vollständige JSON der geänderten Konfiguration in das Eingabefeld ein.
2. Der Workflow wird dann:
   1. Ersetzen Sie die vorhandene Datei cortex_meridian_config.json in Cloud Storage durch den bereitgestellten JSON-Code.
   2. Erstellen Sie im Verzeichnis Cloud Storage/configuration eine Sicherung der ursprünglichen Konfigurationsdatei.
   3. Der Name der Sicherungsdatei hat das Format cortex_meridian_config_workflow_backup_workflow_execution_id.json, wobei workflow_execution_id eine eindeutige Kennung für die aktuelle Workflowausführung ist (z. B. cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json).

Übersicht über Jupyter-Notebooks

Die Kernfunktion zum Laden von Eingabedaten zum Ausführen des Meridian-Modells wird vom Python-Notebook meridian_cortex_marketing.ipynb übernommen, das sich im Ordner notebooks Ihres Cloud Storage-Bucket befindet.

Der Ausführungsablauf des Notebooks besteht aus den folgenden Schritten:

1. Installiert die erforderlichen Pakete (einschließlich Meridian) und importiert die erforderlichen Bibliotheken.
2. Hilfsfunktionen für die Interaktion mit Cloud Storage und BigQuery laden.
3. Ruft die Konfiguration für die Ausführung aus der configuration/cortex_meridian_config.json-Datei in Cloud Storage ab.
4. Cortex Framework-Daten aus der Ansicht „Cortex Framework Data Foundation“ in BigQuery laden.
5. Konfigurieren Sie die Meridian-Modellspezifikation und ordnen Sie die Datenmodelle der Cortex Framework Data Foundation für Marketing und Vertrieb dem Meridian-Modelleingabeschema zu.
6. Führt die Meridian-Stichprobenerhebung aus und generiert einen zusammenfassenden Bericht, der in Cloud Storage (/reporting) gespeichert wird.
7. Führen Sie den Budget-Optimizer für das Standardszenario aus und geben Sie den Zusammenfassungsbericht in Cloud Storage aus (/reporting).
8. Modell in Cloud Storage speichern (/models).
9. CSV-Ergebnisse in Cloud Storage speichern (/csv).
10. Erstellen Sie einen Übersichtsbericht und speichern Sie ihn in Cloud Storage (/reporting).

Notebook für die manuelle Ausführung und Bearbeitung importieren

Wenn Sie das Notebook anpassen oder manuell ausführen möchten, importieren Sie es aus Cloud Storage:

1. Rufen Sie Colab Enterprise auf.
2. Klicken Sie auf Meine Notebooks.
3. Klicken Sie auf Importieren.
4. Wählen Sie Cloud Storage als Importquelle aus und wählen Sie das Notebook aus Cloud Storage aus.
5. Klicken Sie auf Importieren.

6. Das Notebook wird geladen und geöffnet.

Ergebnisse von Notebook-Ausführungen

Wenn Sie die Ergebnisse eines Notebook-Laufs ansehen möchten, öffnen Sie eine vollständige Kopie des Notebooks mit allen Zellausgaben:

1. Rufen Sie in Colab Enterprise Ausführungen auf.
2. Wählen Sie im Drop-down-Menü die gewünschte Region aus.
3. Klicken Sie neben dem Notebook-Lauf, für den Sie Ergebnisse aufrufen möchten, auf Ergebnis anzeigen.
4. In Colab Enterprise wird das Ergebnis des Notebook-Laufs in einem neuen Tab geöffnet.
5. Klicken Sie auf den neuen Tab, um das Ergebnis aufzurufen.

Laufzeitvorlage

Google Cloud In Colab Enterprise werden Laufzeitvorlagen verwendet, um vorkonfigurierte Ausführungsumgebungen zu definieren. Eine vordefinierte Laufzeitvorlage, die für die Ausführung des Meridian-Notebooks geeignet ist, ist in der Cortex for Meridian-Bereitstellung enthalten. Diese Vorlage wird automatisch verwendet, um Laufzeitumgebungen für die Ausführung von Notebooks zu erstellen.

Bei Bedarf können Sie manuell zusätzliche Laufzeitvorlagen erstellen.