Cortex untuk Meridian

Halaman ini menjelaskan proses penyiapan data dan otomatisasi cloud untuk Google Meridian. Cortex Framework untuk Meridian menyederhanakan pemodelan marketing mix (MMM) open source dengan data penjualan dan lintas media. Cortex Framework menyederhanakan proses ini dengan menyediakan model data yang telah dikonfigurasi sebelumnya dan mengotomatiskan eksekusi model open source Meridian menggunakan layanan seperti Colab Enterprise dan Workflows. Google Cloud

Salah satu proposisi nilai utama Google Cloud Cortex Framework adalah menyediakan fondasi data dan Kecerdasan Buatan (AI) untuk kecerdasan perusahaan generasi berikutnya yang memungkinkan analisis di berbagai area utama seperti penjualan, pemasaran, pemenuhan pesanan, dan pengelolaan inventaris.

Cortex Framework untuk pemasaran menyediakan metrik dan indikator performa utama (KPI) lintas platform media. Metrik ini merupakan bagian penting dari langkah penyiapan data pra-pemodelan untuk menjalankan MMM open source terbaru Google yang disebut Meridian. Pengiklan, agensi, dan partner dapat mempercepat proses penyiapan data pra-pemodelan dengan memanfaatkan Google Cloud Cortex Framework Data Foundation.

Cortex untuk Meridian menyederhanakan proses pra-pemodelan dengan mengumpulkan dan mentransformasikan data secara efisien dari sumber data Cortex Framework inti, termasuk:

• Insight Terhubung Lintas Media & Produk.
• SAP (ECC dan S/4 HANA)
• Oracle EBS

Untuk mengetahui informasi selengkapnya, lihat dokumentasi Meridian.

File konfigurasi

Selama eksekusi notebook, sistem mengambil parameter konfigurasi dari file cortex_meridian_config.json yang ada di folder configuration dalam Cloud Storage.

Bagian berikut membagikan contoh file YAML konfigurasi yang berbeda untuk eksekusi Meridian:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

Tabel berikut menjelaskan nilai untuk setiap parameter konfigurasi dari file cortex_meridian_config.json:

Kompatibilitas dengan Meridian

Cortex Framework Data Foundation dan Meridian dirilis secara terpisah. Catatan rilis Cortex Framework memberikan ringkasan rilis dan versinya. Di repositori GitHub Meridian, Anda dapat melihat versi Meridian terbaru yang tersedia. Prasyarat Meridian dan rekomendasi sistem tersedia di panduan pengguna Meridian.

Rilis Cortex Framework Data Foundation diuji dengan Meridian versi tertentu. Anda dapat menemukan Meridian yang kompatibel dalam notebook Jupyter, seperti yang ditunjukkan gambar berikut:

Untuk mengupdate ke versi Meridian yang lebih baru, ubah baris yang sesuai di notebook. Perhatikan bahwa penyesuaian kode tambahan mungkin diperlukan di notebook.

Model Data

Bagian ini menjelaskan Model Data CrossMediaSalesInsightsWeeklyAgg menggunakan Diagram Hubungan Entity (ERD).

Cortex for Meridian mengandalkan satu tampilan, CrossMediaSalesInsightsWeeklyAgg, untuk beroperasi. Sumber data untuk tampilan ini ditentukan oleh setelan konfigurasi k9.Meridian.salesDataSourceType, yang dapat berupa:

• BYOD (Bawa Data Anda Sendiri): Integrasi data kustom.
• SAP_SALES: Data penjualan dari sistem SAP.
• ORACLE_SALES: Data penjualan dari sistem Oracle EBS.

Bagian berikut membagikan Diagram Hubungan Entitas untuk CrossMediaForMeridian:

Tabel berikut menunjukkan skema mendetail untuk tampilan CrossMediaSalesInsightsWeeklyAgg yang merupakan bagian dari Cortex untuk Meridian:

Deployment

Halaman ini menguraikan langkah-langkah untuk men-deploy Cortex Framework untuk Meridian, sehingga memungkinkan MMM terbaik di kelasnya dalam lingkungan Google Cloud Anda.

Untuk demo panduan memulai, lihat Demo panduan memulai untuk Meridian.

Arsitektur

Cortex for Meridian menggunakan Cortex Framework untuk pemasaran dan data Lintas Media yang digabungkan dengan data penjualan. Anda dapat memasukkan data penjualan dari Oracle EBS, SAP, atau sistem sumber lainnya.

Diagram berikut menjelaskan komponen utama Cortex for Meridian:

Komponen dan layanan Meridian

Selama deployment Cortex Framework Data Foundation (lihat prasyarat deployment), Anda dapat mengaktifkan Cortex untuk Meridian dengan menyetel deployMeridian ke true di file config.json. Opsi ini memulai pipeline Cloud Build tambahan, yang menginstal komponen dan layanan berikut yang diperlukan untuk Meridian:

• Tampilan BigQuery: Tampilan dibuat di set data pelaporan K9 yang disebut CrossMediaSalesInsightsWeeklyAgg. Hal ini memungkinkan kueri data pemasaran dan data penjualan dari Cortex Framework. Penerapan sebenarnya dari tampilan dan sumber pokok bergantung pada sumber data penjualan yang Anda pilih selama deployment.

• Bucket Cloud Storage: Bucket PROJECT_ID-cortex-meridian berisi semua artefak yang dibutuhkan dan dihasilkan oleh Cortex untuk Meridian di folder berikut:

  • configuration: Tentukan setelan dan parameter untuk Cortex for Meridian. Digunakan oleh notebook Colab Enterprise selama eksekusi notebook.
  • csv: Output data mentah dari Meridian akan disimpan sebagai file CSV di sini.
  • models: Model yang dihasilkan dari menjalankan Meridian akan disimpan di sini.
  • notebook-run-logs: Salinan notebook untuk setiap eksekusi dan log akan disimpan di sini.
  • notebooks: Berisi notebook utama dengan kode dan logika untuk menjalankan Cortex for Meridian. Notebook ini ditujukan untuk penyesuaian lebih lanjut guna mendukung kebutuhan dan persyaratan spesifik Anda.
  • reporting: Ini adalah folder tempat laporan dari eksekusi Meridian akan disimpan. Juga berisi template HTML untuk membuat laporan ringkasan dengan link ke output laporan dari Meridian.

• Colab Enterprise: Colab Enterprise adalah layanan terkelola di Google Cloud yang menyediakan lingkungan aman dan kolaboratif untuk alur kerja data science dan machine learning menggunakan notebook Jupyter. Layanan ini menawarkan fitur seperti infrastruktur terkelola, kontrol keamanan tingkat perusahaan, dan integrasi dengan layanan lain, sehingga cocok untuk tim yang bekerja dengan data sensitif dan memerlukan tata kelola yang andal. Google Cloud Lingkungan terkelola untuk menjalankan notebook Jupyter.

Cortex for Meridian menggunakan Colab Enterprise untuk menentukan template runtime dengan infrastruktur yang diperlukan guna mengotomatiskan eksekusi Meridian.

Saat memicu pipeline end-to-end, menggunakan alur kerja, Eksekusi akan dibuat. Tindakan ini akan menjalankan salinan notebook Jupyter saat ini dari Cloud Storage dengan konfigurasi terbaru.

• Alur kerja: Cloud Workflow yang disebut cortex-meridian-execute-notebook mengatur eksekusi seluruh pipeline Cortex for Meridian. Alur kerja akan memanggil Colab Enterprise API yang membuat runtime berdasarkan template runtime dan menjalankan eksekusi notebook dengan konfigurasi saat ini, lalu menyimpan semua hasilnya ke Cloud Storage.

  

  Anda memiliki dua opsi konfigurasi opsional yang tersedia untuk alur kerja:

  1. Jika Anda dapat memberikan konfigurasi JSON Cortex untuk Meridian yang baru sebagai input ke alur kerja. Jika Anda melakukannya, alur akan mencadangkan konfigurasi lama dan memperbarui konfigurasi dengan input Anda. Lihat REPLACE untuk mengetahui informasi selengkapnya.

  

  1. Langkah pre_notebook_execution adalah tempat yang tepat bagi Anda untuk memulai tugas tambahan yang perlu diotomatiskan sebelum menjalankan notebook. Misalnya, memuat data dari sumber di luar Google Cloud Cortex Framework.

• Akun Layanan: Akun Layanan khusus harus disediakan selama deployment. Hal ini diperlukan untuk menjalankan alur kerja dan notebook di Colab Enterprise.

Parameter deployment tambahan untuk Meridian

File config.json mengonfigurasi setelan yang diperlukan untuk menjalankan Meridian dengan Cortex Framework. File ini berisi parameter berikut untuk Cortex for Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

Tabel berikut menjelaskan nilai dan deskripsi untuk setiap parameter Meridian:

Alur kerja

Alur kerja berfungsi sebagai antarmuka utama untuk memulai eksekusi Cortex for Meridian. Alur kerja default yang disebut cortex-meridian-execute-notebook di-deploy sebagai bagian dari Cortex untuk Meridian.

Eksekusi notebook

Untuk memulai eksekusi Cortex for Meridian baru, ikuti langkah-langkah berikut:

1. Buka notebook cortex-meridian-execute-notebook di Workflows.
2. Klik Execute untuk memulai eksekusi baru.
3. Untuk menjalankan awal, biarkan kolom input kosong untuk menggunakan konfigurasi default yang disimpan dalam file konfigurasi cortex_meridian_config.json di Cloud Storage.
4. Klik Execute lagi untuk melanjutkan.

5. Setelah penundaan singkat, status eksekusi alur kerja akan ditampilkan:

   

6. Lacak progres eksekusi notebook di Colab Enterprise.

Langkah-langkah alur kerja

Alur kerja cortex-meridian-execute-notebook berisi langkah-langkah berikut:

Menyesuaikan alur kerja eksekusi Meridian

Anda dapat menyesuaikan eksekusi Meridian dengan menyediakan file JSON konfigurasi Anda sendiri di kolom input Workflows:

1. Masukkan JSON lengkap konfigurasi yang diubah ke dalam kolom input.
2. Alur kerja kemudian akan:
   1. Ganti file cortex_meridian_config.json yang ada di Cloud Storage dengan JSON yang diberikan.
   2. Buat cadangan file konfigurasi asli di direktori Cloud Storage/configuration.
   3. Nama file cadangan akan mengikuti format cortex_meridian_config_workflow_backup_workflow_execution_id.json, dengan workflow_execution_id adalah ID unik untuk eksekusi alur kerja saat ini (misalnya, cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json)

Ringkasan notebook Jupyter

Fungsi inti untuk memuat data input guna menjalankan dan mengeksekusi model Meridian ditangani oleh notebook Python meridian_cortex_marketing.ipynb, yang berada di folder notebooks bucket Cloud Storage Anda.

Alur eksekusi notebook terdiri dari langkah-langkah berikut:

1. Instal paket yang diperlukan (termasuk Meridian) dan impor library yang diperlukan.
2. Muat fungsi bantuan untuk berinteraksi dengan Cloud Storage dan BigQuery.
3. Mengambil konfigurasi eksekusi dari file configuration/cortex_meridian_config.json di Cloud Storage.
4. Muat data Cortex Framework dari tampilan Cortex Framework Data Foundation dalam BigQuery.
5. Konfigurasi spesifikasi model Meridian dan petakan model data Cortex Framework Data Foundation untuk pemasaran dan penjualan ke skema input model Meridian.
6. Menjalankan pengambilan sampel Meridian dan membuat laporan ringkasan, yang disimpan ke Cloud Storage (/reporting).
7. Jalankan pengoptimal anggaran untuk skenario default dan hasilkan laporan ringkasan ke Cloud Storage (/reporting).
8. Simpan model ke Cloud Storage (/models).
9. Simpan hasil CSV ke Cloud Storage (/csv).
10. Buat laporan ringkasan dan simpan ke Cloud Storage (/reporting).

Mengimpor notebook untuk eksekusi dan pengeditan manual

Untuk menyesuaikan atau menjalankan notebook secara manual, impor dari Cloud Storage:

1. Buka Colab Enterprise.
2. Klik Notebook saya.
3. Klik Import.
4. Pilih Cloud Storage sebagai sumber impor dan pilih notebook dari Cloud Storage.
5. Klik Import.

6. Notebook akan dimuat dan terbuka.

Hasil eksekusi notebook

Untuk meninjau hasil eksekusi notebook, buka salinan lengkap notebook dengan semua output sel:

1. Buka Eksekusi di Colab Enterprise.
2. Pilih wilayah yang relevan dari menu drop-down.
3. Di samping eksekusi notebook yang ingin Anda lihat hasilnya, klik Lihat hasil.
4. Colab Enterprise akan membuka hasil eksekusi notebook di tab baru.
5. Untuk melihat hasilnya, klik tab baru.

Template runtime

Google Cloud Colab Enterprise menggunakan template runtime untuk menentukan lingkungan eksekusi yang telah dikonfigurasi sebelumnya. Template runtime yang telah ditentukan sebelumnya, yang cocok untuk menjalankan notebook Meridian, disertakan dengan deployment Cortex for Meridian. Template ini secara otomatis digunakan untuk membuat lingkungan runtime untuk eksekusi notebook.

Jika perlu, Anda dapat membuat template runtime tambahan secara manual.