Cortex für Meridian

Auf dieser Seite wird der Prozess der Datenwiederherstellung und Cloud-Automatisierung für Google Meridian beschrieben. Cortex Framework für Meridian optimiert die Open-Source-Marketing-Mix-Modellierung (MMM) mit medienübergreifenden und Verkaufsdaten. Das Cortex Framework vereinfacht diesen Prozess, indem es vorkonfigurierte Datenmodelle bereitstellt und die Ausführung des Meridian-Open-Source-Modells mithilfe von Google Cloud Diensten wie Colab Enterprise und Workflows automatisiert.

Eines der Hauptvorteile des Google Cloud Cortex Frameworks besteht darin, eine Daten- und KI-Grundlage für die nächste Generation von Unternehmensinformationen bereitzustellen, die Analysen in wichtigen Bereichen wie Vertrieb, Marketing, Auftragsausführung und Inventarverwaltung ermöglicht.

Das Cortex Framework für Marketing bietet plattformübergreifende Key Performance Indicators (KPIs) und Messwerte. Diese Messwerte sind ein wichtiger Bestandteil der Datenvorbereitung vor der Modellierung für die Ausführung des neuesten Open-Source-MMM von Google namens Meridian. Werbetreibende, Agenturen und Partner können die Datenvorbereitung vor der Modellierung mithilfe der Google Cloud Cortex Framework Data Foundation beschleunigen.

Cortex for Meridian vereinfacht den Prozess vor der Modellierung, indem Daten aus den wichtigsten Datenquellen von Cortex Framework effizient erfasst und transformiert werden. Dazu gehören:

• Einblicke in medien- und produktübergreifende Themen
• SAP (ECC und S/4 HANA)
• Oracle EBS

Weitere Informationen finden Sie in der Meridian-Dokumentation.

Konfigurationsdatei

Während der Ausführung des Notebooks ruft das System Konfigurationsparameter aus der Datei cortex_meridian_config.json im Ordner configuration in Cloud Storage ab.

Im folgenden Abschnitt finden Sie Beispiele für verschiedene YAML-Konfigurationsdateien für die Meridian-Ausführung:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

In der folgenden Tabelle wird der Wert für jeden Konfigurationsparameter aus der Datei cortex_meridian_config.json beschrieben:

Kompatibilität mit Meridian

Cortex Framework Data Foundation und Meridian werden separat veröffentlicht. Die Versionshinweise für das Cortex Framework bieten einen Überblick über die Releases und Versionen. Im GitHub-Repository von Meridian finden Sie die neuesten verfügbaren Meridian-Versionen. Informationen zu den Voraussetzungen und Systemempfehlungen für Meridian findest du im Nutzerhandbuch für Meridian.

Cortex Framework Data Foundation-Releases werden mit einer bestimmten Version von Meridian getestet. Sie finden den kompatiblen Meridian im Jupyter-Notebook, wie in der folgenden Abbildung dargestellt:

Wenn Sie auf eine neuere Meridian-Version aktualisieren möchten, ändern Sie die entsprechende Zeile im Notebook. Möglicherweise sind zusätzliche Codeanpassungen im Notebook erforderlich.

Datenmodell

In diesem Abschnitt wird das CrossMediaSalesInsightsWeeklyAgg-Datenmodell anhand eines Entity-Relationship-Diagramms (ERD) beschrieben.

Für Cortex for Meridian wird nur eine Ansicht benötigt: CrossMediaSalesInsightsWeeklyAgg. Die Datenquelle für diese Ansicht wird durch die Konfigurationseinstellung k9.Meridian.salesDataSourceType bestimmt. Mögliche Werte sind:

• BYOD (Eigene Daten nutzen): Benutzerdefinierte Datenintegration.
• SAP_SALES: Verkaufsdaten aus SAP-Systemen.
• ORACLE_SALES: Verkaufsdaten aus Oracle EBS-Systemen.

Im folgenden Abschnitt finden Sie die Entity-Relationship-Diagramme für CrossMediaForMeridian:

Die folgende Tabelle zeigt das detaillierte Schema für die Ansicht CrossMediaSalesInsightsWeeklyAgg, die Teil von Cortex für Meridian ist:

Bereitstellung

Auf dieser Seite werden die Schritte zum Bereitstellen von Cortex Framework für Meridian beschrieben. So können Sie die branchenführende MMM-Funktion in Ihrer Google Cloud -Umgebung nutzen.

Eine Demo für den Schnellstart finden Sie unter Demo für den Schnellstart von Meridian.

Architektur

Cortex for Meridian verwendet Cortex Framework für Marketing- und Cross-Media-Daten in Kombination mit Verkaufsdaten. Sie können Vertriebsdaten aus Oracle EBS, SAP oder einem anderen Quellsystem importieren.

Das folgende Diagramm zeigt die wichtigsten Komponenten von Cortex for Meridian:

Meridian-Komponenten und ‑Dienste

Während der Bereitstellung der Cortex Framework Data Foundation (siehe Voraussetzungen für die Bereitstellung) können Sie Cortex für Meridian aktivieren, indem Sie in der Datei config.json deployMeridian auf true festlegen. Mit dieser Option wird eine zusätzliche Cloud Build-Pipeline gestartet, über die die folgenden für Meridian erforderlichen Komponenten und Dienste installiert werden:

• BigQuery-Ansicht: Im K9-Berichtsdatensatz wird eine Ansicht namens CrossMediaSalesInsightsWeeklyAgg erstellt. So können Marketing- und Verkaufsdaten aus Cortex Framework abgefragt werden. Die tatsächliche Implementierung der Datenansicht und der zugrunde liegenden Quellen hängt von der Verkaufsdatenquelle ab, die Sie bei der Bereitstellung auswählen.

• Cloud Storage-Bucket:Der Bucket PROJECT_ID-cortex-meridian enthält alle von Cortex für Meridian benötigten und von Cortex für Meridian erstellten Artefakte in den folgenden Ordnern:

  • configuration: Einstellungen und Parameter für Cortex für Meridian definieren Sie wird vom Colab Enterprise-Notebook während der Ausführung des Notebooks verwendet.
  • csv: Die Rohdatenausgabe aus dem Ausführen von Meridian wird hier als CSV-Dateien gespeichert.
  • models: Hier wird das generierte Modell gespeichert, das durch Ausführen von Meridian erstellt wurde.
  • notebook-run-logs: Hier werden Kopien der Notebooks für jede Ausführung und Protokolle gespeichert.
  • notebooks: Enthält das Haupt-Notebook mit Code und Logik zum Ausführen von Cortex für Meridian. Dieses Notizbuch ist für die weitere Anpassung an Ihre spezifischen Bedürfnisse und Anforderungen vorgesehen.
  • reporting: In diesem Ordner werden Berichte aus Meridian-Ausführungen gespeichert. Außerdem enthält es eine HTML-Vorlage zum Erstellen eines Übersichtsberichts mit Links zur Berichtsausgabe aus Meridian.

• Colab Enterprise: Colab Enterprise ist ein verwalteter Dienst auf Google Cloud , der eine sichere und kollaborative Umgebung für Data-Science- und Machine-Learning-Workflows mit Jupyter-Notebooks bietet. Sie bietet Funktionen wie eine verwaltete Infrastruktur, Sicherheitskontrollen auf Unternehmensebene und die Einbindung in andere Google Cloud Dienste. Sie eignet sich daher für Teams, die mit sensiblen Daten arbeiten und eine robuste Governance benötigen. Eine verwaltete Umgebung zum Ausführen des Jupyter-Notebooks.

In Cortex for Meridian wird Colab Enterprise verwendet, um eine Laufzeitvorlage mit der erforderlichen Infrastruktur für die Automatisierung von Meridian-Ausführungen zu definieren.

Wenn Sie die End-to-End-Pipeline mithilfe des Workflows auslösen, wird eine Ausführung erstellt. Dadurch wird eine Kopie des aktuellen Jupyter-Notebooks aus Cloud Storage mit der neuesten Konfiguration ausgeführt.

• Workflow: Ein Cloud-Workflow namens cortex-meridian-execute-notebook orchestriert die Ausführung der gesamten Cortex for Meridian-Pipeline. Der Workflow ruft die Colab Enterprise API auf, die eine Laufzeit basierend auf der Laufzeitvorlage erstellt, einen Notebook-Lauf mit den aktuellen Konfigurationen ausführt und schließlich alle Ergebnisse in Cloud Storage speichert.

  

  Für den Workflow stehen zwei optionale Konfigurationsoptionen zur Verfügung:

  1. Wenn Sie eine neue JSON-Konfiguration für Cortex for Meridian als Eingabe für den Workflow bereitstellen können. In diesem Fall wird die alte Konfiguration gesichert und die Konfiguration mit Ihren Eingaben aktualisiert. Weitere Informationen finden Sie unter REPLACE.

  

  1. Im Schritt pre_notebook_execution können Sie zusätzliche Aufgaben starten, die Sie vor dem Ausführen des Notebooks automatisieren müssen. Beispielsweise das Laden von Daten aus Quellen außerhalb von Cortex.

• Dienstkonto: Während der Bereitstellung muss ein spezielles Dienstkonto angegeben werden. Dies ist für die Ausführung des Workflows und des Notebooks in Colab Enterprise erforderlich.

Zusätzliche Bereitstellungsparameter für Meridian

In der Datei config.json werden die Einstellungen konfiguriert, die zum Ausführen von Meridian mit dem Cortex-Framework erforderlich sind. Diese Datei enthält die folgenden Parameter für Cortex für Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

In der folgenden Tabelle werden der Wert und die Beschreibung für jeden Meridianparameter beschrieben:

Workflow

Workflows dienen als primäre Schnittstelle zum Initiieren von Cortex for Meridian-Ausführungen. Im Rahmen von Cortex for Meridian wird ein Standard-Workflow namens cortex-meridian-execute-notebook bereitgestellt.

Notebookausführung

So starten Sie eine neue Ausführung von Cortex for Meridian:

1. Rufen Sie in Workflows das Notebook cortex-meridian-execute-notebook auf.
2. Klicken Sie auf Ausführen, um eine neue Ausführung zu starten.
3. Lassen Sie das Eingabefeld bei den ersten Ausführungen leer, um die Standardkonfiguration zu verwenden, die in der Konfigurationsdatei cortex_meridian_config.json in Cloud Storage gespeichert ist.
4. Klicken Sie noch einmal auf Ausführen, um fortzufahren.

5. Nach einer kurzen Verzögerung wird der Status der Workflowausführung angezeigt:

   

6. Sie können den Fortschritt der Notebookausführung in Colab Enterprise verfolgen.

Workflowschritte

Der cortex-meridian-execute-notebook-Workflow umfasst die folgenden Schritte:

Meridian-Ausführungsworkflow anpassen

Sie können die Ausführung von Meridian anpassen, indem Sie im Eingabefeld „Workflows“ eine eigene JSON-Konfigurationsdatei angeben:

1. Geben Sie die vollständige JSON-Datei der geänderten Konfiguration in das Eingabefeld ein.
2. Der Workflow führt dann Folgendes aus:
   1. Ersetzen Sie die vorhandene Datei cortex_meridian_config.json in Cloud Storage durch die bereitgestellte JSON-Datei.
   2. Erstellen Sie im Verzeichnis Cloud Storage/configuration eine Sicherung der ursprünglichen Konfigurationsdatei.
   3. Der Name der Sicherungsdatei hat das Format cortex_meridian_config_workflow_backup_workflow_execution_id.json, wobei workflow_execution_id eine eindeutige Kennung für die aktuelle Workflowausführung ist (z. B. cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json).

Jupyter-Notebooks – Übersicht

Die Hauptfunktion zum Laden von Eingabedaten für das Ausführen und Ausführen des Meridian-Modells wird vom Python-Notebook meridian_cortex_marketing.ipynb im Ordner notebooks Ihres Cloud Storage-Buckets ausgeführt.

Die Ausführung des Notebooks umfasst die folgenden Schritte:

1. Installiert die erforderlichen Pakete (einschließlich Meridian) und importiert die erforderlichen Bibliotheken.
2. Hilfsfunktionen für die Interaktion mit Cloud Storage und BigQuery laden
3. Ruft die Ausführungskonfiguration aus der configuration/cortex_meridian_config.json-Datei in Cloud Storage ab.
4. Laden Sie Cortex Framework-Daten aus der Ansicht „Cortex Framework Data Foundation“ in BigQuery.
5. Konfigurieren Sie die Meridian-Modellspezifikation und ordnen Sie die Datenmodelle der Cortex Framework Data Foundation für Marketing und Vertrieb dem Meridian-Modelleingabeschema zu.
6. Meridian-Stichprobenerhebung ausführen und einen Zusammenfassungsbericht generieren, der in Cloud Storage (/reporting) gespeichert wird.
7. Führen Sie den Budgetoptimierer für das Standardszenario aus und geben Sie den Zusammenfassungsbericht in Cloud Storage (/reporting) aus.
8. Speichern Sie das Modell in Cloud Storage (/models).
9. Speichern Sie die CSV-Ergebnisse in Cloud Storage (/csv).
10. Erstellen Sie einen Übersichtsbericht und speichern Sie ihn in Cloud Storage (/reporting).

Notebook zur manuellen Ausführung und Bearbeitung importieren

Wenn Sie das Notebook anpassen oder manuell ausführen möchten, importieren Sie es aus Cloud Storage:

1. Rufen Sie Colab Enterprise auf.
2. Klicken Sie auf Meine Notizenbücher.
3. Klicken Sie auf Importieren.
4. Wählen Sie Cloud Storage als Importquelle und das Notizbuch aus Cloud Storage aus.
5. Klicken Sie auf Importieren.

6. Das Notebook wird geladen und geöffnet.

Ergebnisse von Notebookausführungen

Wenn Sie die Ergebnisse der Notebookausführung prüfen möchten, öffnen Sie eine vollständige Kopie des Notebooks mit allen Zellenausgaben:

1. Rufen Sie in Colab Enterprise Ausführungen auf.
2. Wählen Sie im Drop-down-Menü die gewünschte Region aus.
3. Klicken Sie neben der Notebookausführung, für die Sie die Ergebnisse sehen möchten, auf Ergebnis anzeigen.
4. In Colab Enterprise wird das Ergebnis der Notebookausführung in einem neuen Tab geöffnet.
5. Klicken Sie auf den neuen Tab, um das Ergebnis aufzurufen.

Laufzeitvorlage

Google Cloud In Colab Enterprise werden Laufzeitvorlagen verwendet, um vorkonfigurierte Ausführungsumgebungen zu definieren. Die Bereitstellung von Cortex for Meridian enthält eine vordefinierte Laufzeitvorlage, die zum Ausführen des Meridian-Notebooks geeignet ist. Diese Vorlage wird automatisch verwendet, um Laufzeitumgebungen für die Ausführung von Notebooks zu erstellen.

Bei Bedarf können Sie manuell zusätzliche Laufzeitvorlagen erstellen.