Cortex untuk Meridian

Halaman ini menjelaskan proses perbaikan data dan otomatisasi cloud untuk Google Meridian. Cortex Framework untuk Meridian menyederhanakan pemodelan marketing mix (MMM) open source dengan data lintas media dan penjualan. Cortex Framework menyederhanakan proses ini dengan menyediakan model data yang telah dikonfigurasi sebelumnya dan mengotomatiskan eksekusi model open source Meridian menggunakan layanan Google Cloud seperti Colab Enterprise dan Alur Kerja.

Salah satu proposisi nilai utama Google Cloud Cortex Framework adalah menyediakan fondasi data dan Kecerdasan Buatan (AI) untuk intelijen perusahaan generasi berikutnya yang memungkinkan analisis yang mencakup berbagai area utama seperti penjualan, pemasaran, pemenuhan pesanan, dan pengelolaan inventaris.

Cortex Framework untuk pemasaran menyediakan indikator performa utama (KPI) dan metrik platform lintas media. Metrik ini adalah bagian penting dari langkah persiapan data pre-pemodelan untuk menjalankan MMM open source terbaru Google yang disebut Meridian. Pengiklan, agensi, dan partner dapat mempercepat proses persiapan data pra-pemodelan dengan memanfaatkan Dasar Data Google Cloud Cortex Framework.

Cortex untuk Meridian menyederhanakan proses pra-pemodelan dengan mengumpulkan dan mengubah data secara efisien dari sumber data inti Cortex Framework, termasuk:

• Insight Terhubung Produk & Media Lintas.
• SAP (ECC dan S/4 HANA)
• Oracle EBS

Untuk informasi selengkapnya, lihat dokumentasi Meridian.

File konfigurasi

Selama eksekusi notebook, sistem mengambil parameter konfigurasi dari file cortex_meridian_config.json yang terletak di folder configuration dalam Cloud Storage.

Bagian berikut membagikan berbagai contoh file YAML konfigurasi untuk eksekusi Meridian:

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

Tabel berikut menjelaskan nilai untuk setiap parameter konfigurasi dari file cortex_meridian_config.json:

Kompatibilitas dengan Meridian

Cortex Framework Data Foundation dan Meridian dirilis secara terpisah. Catatan rilis Cortex Framework memberikan ringkasan rilis dan versinya. Di repositori GitHub Meridian, Anda dapat melihat versi Meridian terbaru yang tersedia. Prasyarat dan rekomendasi sistem Meridian tersedia di panduan pengguna Meridian.

Rilis Cortex Framework Data Foundation diuji dengan versi Meridian tertentu. Anda dapat menemukan Meridian yang kompatibel dalam notebook Jupyter, seperti yang ditunjukkan gambar berikut:

Untuk mengupdate ke versi Meridian yang lebih baru, ubah baris yang sesuai di notebook. Pertimbangkan bahwa penyesuaian kode tambahan mungkin diperlukan di notebook.

Model Data

Bagian ini menjelaskan Model Data CrossMediaSalesInsightsWeeklyAgg menggunakan Diagram Hubungan Entitas (ERD).

Cortex untuk Meridian mengandalkan satu tampilan, CrossMediaSalesInsightsWeeklyAgg, untuk beroperasi. Sumber data untuk tampilan ini ditentukan oleh setelan konfigurasi k9.Meridian.salesDataSourceType, yang dapat berupa:

• BYOD (Bawa Data Sendiri): Integrasi data kustom.
• SAP_SALES: Data penjualan dari sistem SAP.
• ORACLE_SALES: Data penjualan dari sistem Oracle EBS.

Bagian berikut membagikan Diagram Hubungan Entitas untuk CrossMediaForMeridian:

Tabel berikut menunjukkan skema mendetail untuk tampilan CrossMediaSalesInsightsWeeklyAgg yang merupakan bagian dari Cortex untuk Meridian:

Deployment

Halaman ini menguraikan langkah-langkah untuk men-deploy Cortex Framework untuk Meridian, yang memungkinkan MMM terbaik di kelasnya dalam lingkungan Google Cloud Anda.

Untuk demo memulai cepat, lihat Demo memulai cepat untuk Meridian.

Arsitektur

Cortex untuk Meridian menggunakan Cortex Framework untuk pemasaran dan data Lintas Media yang digabungkan dengan data penjualan. Anda dapat mengambil data penjualan dari Oracle EBS, SAP, atau sistem sumber lainnya.

Diagram berikut menjelaskan komponen utama Cortex untuk Meridian:

Komponen dan layanan Meridian

Selama deployment Data Foundation Framework Cortex (lihat prasyarat deployment), Anda dapat mengaktifkan Cortex untuk Meridian dengan menetapkan deployMeridian ke true di file config.json. Opsi ini memulai pipeline Cloud Build tambahan, yang menginstal komponen dan layanan berikut yang diperlukan untuk Meridian:

• Tampilan BigQuery: Tampilan dibuat di set data pelaporan K9 yang disebut CrossMediaSalesInsightsWeeklyAgg. Hal ini memungkinkan kueri data pemasaran dan data penjualan dari Cortex Framework. Implementasi sebenarnya dari tampilan dan sumber yang mendasarinya bergantung pada sumber data penjualan yang Anda pilih selama deployment.

• Bucket Cloud Storage: Bucket PROJECT_ID-cortex-meridian berisi semua artefak yang diperlukan dan dihasilkan oleh Cortex untuk Meridian di folder berikut:

  • configuration: Menentukan setelan dan parameter untuk Cortex untuk Meridian. File ini digunakan oleh notebook Colab Enterprise selama eksekusi notebook.
  • csv: Output data mentah dari menjalankan Meridian akan disimpan sebagai file CSV di sini.
  • models: Model yang dihasilkan dari menjalankan Meridian akan disimpan di sini.
  • notebook-run-logs: Salinan notebook untuk setiap eksekusi dan log akan disimpan di sini.
  • notebooks: Berisi notebook utama dengan kode dan logika untuk menjalankan Cortex untuk Meridian. Notebook ini ditujukan untuk penyesuaian lebih lanjut guna mendukung kebutuhan dan persyaratan spesifik Anda.
  • reporting: Ini adalah folder tempat laporan dari eksekusi Meridian akan disimpan. Juga berisi template HTML untuk membuat laporan ringkasan dengan link ke output laporan dari Meridian.

• Colab Enterprise: Colab Enterprise adalah layanan terkelola di Google Cloud yang menyediakan lingkungan kolaboratif dan aman untuk alur kerja data science dan machine learning menggunakan notebook Jupyter. Layanan ini menawarkan fitur seperti infrastruktur terkelola, kontrol keamanan tingkat perusahaan, dan integrasi dengan layanan Google Cloud lain, sehingga cocok untuk tim yang menangani data sensitif dan memerlukan tata kelola yang andal. Lingkungan terkelola untuk menjalankan notebook Jupyter.

Cortex untuk Meridian menggunakan Colab Enterprise untuk menentukan template runtime dengan infrastruktur yang diperlukan untuk mengotomatiskan operasi Meridian.

Saat memicu pipeline menyeluruh, menggunakan alur kerja, Eksekusi akan dibuat. Tindakan ini akan menjalankan salinan notebook Jupyter saat ini dari Cloud Storage dengan konfigurasi terbaru.

• Alur kerja: Alur Kerja Cloud yang disebut cortex-meridian-execute-notebook mengatur eksekusi pipeline Cortex for Meridian lengkap. Alur kerja akan memanggil Colab Enterprise API yang membuat runtime berdasarkan template runtime dan menjalankan notebook yang berjalan dengan konfigurasi saat ini, dan akhirnya menyimpan semua hasilnya ke Cloud Storage.

  

  Anda memiliki dua opsi konfigurasi opsional yang tersedia untuk alur kerja:

  1. Jika Anda dapat memberikan konfigurasi JSON Cortex for Meridian baru sebagai input ke alur kerja. Jika Anda melakukannya, alur akan membuat cadangan konfigurasi lama dan memperbarui konfigurasi dengan input Anda. Lihat REPLACE untuk mengetahui informasi selengkapnya.

  

  1. Langkah pre_notebook_execution menyediakan tempat yang sangat baik bagi Anda untuk memulai tugas tambahan yang perlu diotomatiskan sebelum menjalankan notebook. Misalnya, memuat data dari sumber di luar Cortex.

• Akun Layanan: Akun Layanan khusus harus disediakan selama deployment. Hal ini diperlukan untuk menjalankan alur kerja dan notebook di Colab Enterprise.

Parameter deployment tambahan untuk Meridian

File config.json mengonfigurasi setelan yang diperlukan untuk menjalankan Meridian dengan Cortex Framework. File ini berisi parameter berikut untuk Cortex untuk Meridian:

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

Tabel berikut menjelaskan nilai dan deskripsi untuk setiap parameter Meridian:

Alur kerja

Alur kerja berfungsi sebagai antarmuka utama untuk memulai eksekusi Cortex untuk Meridian. Alur kerja default yang disebut cortex-meridian-execute-notebook di-deploy sebagai bagian dari Cortex untuk Meridian.

Eksekusi notebook

Untuk memulai eksekusi Cortex for Meridian baru, ikuti langkah-langkah berikut:

1. Buka notebook cortex-meridian-execute-notebook di Alur Kerja.
2. Klik Execute untuk memulai eksekusi baru.
3. Untuk pengoperasian awal, biarkan kolom input kosong untuk menggunakan konfigurasi default yang disimpan dalam file konfigurasi cortex_meridian_config.json di Cloud Storage.
4. Klik Execute lagi untuk melanjutkan.

5. Setelah penundaan singkat, status eksekusi alur kerja akan ditampilkan:

   

6. Melacak progres eksekusi notebook di Colab Enterprise.

Langkah alur kerja

Alur kerja cortex-meridian-execute-notebook berisi langkah-langkah berikut:

Menyesuaikan alur kerja eksekusi Meridian

Anda dapat menyesuaikan eksekusi Meridian dengan menyediakan file JSON konfigurasi Anda sendiri di kolom input Alur Kerja:

1. Masukkan JSON lengkap konfigurasi yang diubah ke kolom input.
2. Kemudian, alur kerja akan:
   1. Ganti file cortex_meridian_config.json yang ada di Cloud Storage dengan JSON yang disediakan.
   2. Buat cadangan file konfigurasi asli di direktori Cloud Storage/configuration.
   3. Nama file cadangan akan mengikuti format cortex_meridian_config_workflow_backup_workflow_execution_id.json, dengan workflow_execution_id adalah ID unik untuk eksekusi alur kerja saat ini (misalnya, cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json)

Ringkasan notebook Jupyter

Fungsi inti pemuatan data input untuk menjalankan dan mengeksekusi model Meridian ditangani oleh notebook Python meridian_cortex_marketing.ipynb, yang terletak di folder notebooks di bucket Cloud Storage Anda.

Alur eksekusi notebook terdiri dari langkah-langkah berikut:

1. Menginstal paket yang diperlukan (termasuk Meridian) dan mengimpor library yang diperlukan.
2. Memuat fungsi bantuan untuk berinteraksi dengan Cloud Storage dan BigQuery.
3. Mengambil konfigurasi eksekusi dari file configuration/cortex_meridian_config.json di Cloud Storage.
4. Muat data Framework Cortex dari tampilan Dasar Data Framework Cortex dalam BigQuery.
5. Konfigurasikan spesifikasi model Meridian dan petakan model data Cortex Framework Data Foundation untuk pemasaran dan penjualan ke skema input model Meridian.
6. Jalankan sampling Meridian dan buat laporan ringkasan, yang disimpan ke Cloud Storage (/reporting).
7. Jalankan pengoptimal anggaran untuk skenario default dan laporan ringkasan output ke Cloud Storage (/reporting).
8. Simpan model ke Cloud Storage (/models).
9. Simpan hasil CSV ke Cloud Storage (/csv).
10. Buat laporan ringkasan dan simpan ke Cloud Storage (/reporting).

Mengimpor notebook untuk eksekusi dan pengeditan manual

Untuk menyesuaikan atau menjalankan notebook secara manual, impor notebook dari Cloud Storage:

1. Buka Colab Enterprise.
2. Klik Notebook saya.
3. Klik Import.
4. Pilih Cloud Storage sebagai sumber impor dan pilih notebook dari Cloud Storage.
5. Klik Import.

6. Notebook akan dimuat dan terbuka.

Hasil eksekusi notebook

Untuk meninjau hasil operasi notebook, buka salinan lengkap notebook dengan semua output sel:

1. Buka Executions di Colab Enterprise.
2. Pilih wilayah yang relevan dari drop-down.
3. Di samping eksekusi notebook yang ingin Anda lihat hasilnya, klik View result.
4. Colab Enterprise akan membuka hasil notebook yang dijalankan di tab baru.
5. Untuk melihat hasilnya, klik tab baru.

Template runtime

Google Cloud Colab Enterprise menggunakan template runtime untuk menentukan lingkungan eksekusi yang telah dikonfigurasi sebelumnya. Template runtime standar, yang cocok untuk menjalankan notebook Meridian, disertakan dengan deployment Cortex for Meridian. Template ini otomatis digunakan untuk membuat lingkungan runtime untuk eksekusi notebook.

Jika diperlukan, Anda dapat membuat template runtime tambahan secara manual.