Meridian용 Cortex

이 페이지에서는 Google Meridian의 데이터 복구 및 클라우드 자동화 프로세스를 자세히 설명합니다. Meridian용 Cortex Framework는 교차 미디어 및 판매 데이터를 사용하여 오픈소스 마케팅 믹스 모델링 (MMM)을 간소화합니다. Cortex Framework는 사전 구성된 데이터 모델을 제공하고 Colab Enterprise 및 Workflows와 같은 Google Cloud 서비스를 사용하여 Meridian 오픈소스 모델 실행을 자동화하여 이 프로세스를 간소화합니다.

Google Cloud Cortex Framework의 주요 가치 제안사항 중 하나는 판매, 마케팅, 주문 처리, 인벤토리 관리와 같은 주요 영역에 걸쳐 분석을 지원하는 차세대 엔터프라이즈 인텔리전스를 위한 데이터 및 인공지능 (AI) 기반을 제공하는 것입니다.

마케팅용 Cortex Framework는 교차 미디어 플랫폼 핵심성과지표 (KPI) 및 측정항목을 제공합니다. 이러한 측정항목은 Google의 최신 오픈소스 MMM인 Meridian을 실행하기 위한 사전 모델링 데이터 준비 단계에서 중요한 부분입니다. 광고주, 대행사, 파트너는 Google Cloud Cortex Framework Data Foundation을 활용하여 사전 모델링 데이터 준비 프로세스를 가속화할 수 있습니다.

Meridian용 Cortex는 다음과 같은 핵심 Cortex Framework 데이터 소스에서 데이터를 효율적으로 수집하고 변환하여 사전 모델링 프로세스를 간소화합니다.

• 교차 미디어 및 제품 연결 통계
• SAP (ECC 및 S/4 HANA)
• Oracle EBS

자세한 내용은 Meridian 문서를 참고하세요.

구성 파일

노트북 실행 중에 시스템은 Cloud Storage의 configuration 폴더에 있는 cortex_meridian_config.json 파일에서 구성 매개변수를 가져옵니다.

다음 섹션에서는 Meridian 실행을 위한 다양한 구성 YAML 파일 예시를 공유합니다.

{
  "cortex_bq_project_id": "PROJECT_ID",
  "cortex_meridian_marketing_data_set_id": "K9_REPORTING",
  "cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
  "column_mappings": {
      "controls": [],
      "geo": "geo",
      "kpi": "number_of_sales_orders",
      "media": [
          "Tiktok_impression",
          "Meta_impression",
          "YouTube_impression",
          "GoogleAds_impression"
      ],
      "media_spend": [
          "Tiktok_spend",
          "Meta_spend",
          "YouTube_spend",
          "GoogleAds_spend"
      ],
      "population": "population",
      "revenue_per_kpi": "average_revenue_per_sales_order",
      "time": "time"
  },
  "channel_names": [
      "TikTok",
      "Meta",
      "YouTube",
      "GoogleAds"
  ],
  "data_processing": {
      "kpi_type": "{USE_CASE_SPECIFIC}",
      "roi_mu": {USE_CASE_SPECIFIC},
      "roi_sigma": {USE_CASE_SPECIFIC},
      "sample": {
          "prior": {USE_CASE_SPECIFIC},
          "posterior": {
              "n_chains": {USE_CASE_SPECIFIC},
              "n_adapt": {USE_CASE_SPECIFIC},
              "n_burnin": {USE_CASE_SPECIFIC},
              "n_keep": {USE_CASE_SPECIFIC}
          }
      }
  }
}

...
    "kpi": "conversions",
    "revenue_per_kpi": "",
...

다음 표에서는 cortex_meridian_config.json 파일의 각 구성 매개변수 값을 설명합니다.

Meridian과의 호환성

Cortex Framework Data Foundation과 Meridian은 별도로 출시됩니다. Cortex Framework 출시 노트에서는 출시 및 버전에 대한 개요를 제공합니다. Meridian의 GitHub 저장소에서 사용 가능한 최신 Meridian 버전을 확인할 수 있습니다. Meridian 기본 요건 및 시스템 권장사항은 Meridian 사용자 가이드에서 확인할 수 있습니다.

Cortex Framework Data Foundation 출시는 특정 버전의 Meridian으로 테스트됩니다. 다음 이미지와 같이 Jupyter 노트북 내에서 호환되는 Meridian을 찾을 수 있습니다.

최신 Meridian 버전으로 업데이트하려면 노트북에서 해당 선을 수정하세요. 노트북에서 추가 코드 조정이 필요할 수 있습니다.

데이터 모델

이 섹션에서는 엔터티 관계 다이어그램 (ERD)을 사용하여 CrossMediaSalesInsightsWeeklyAgg 데이터 모델을 설명합니다.

Meridian용 Cortex는 단일 뷰인 CrossMediaSalesInsightsWeeklyAgg를 사용하여 작동합니다. 이 뷰의 데이터 소스는 k9.Meridian.salesDataSourceType 구성 설정에 따라 결정되며 다음과 같습니다.

• BYOD (Bring Your Own Data): 맞춤 데이터 통합
• SAP_SALES: SAP 시스템의 판매 데이터입니다.
• ORACLE_SALES: Oracle EBS 시스템의 판매 데이터입니다.

다음 섹션에서는 CrossMediaForMeridian의 엔터티 관계 다이어그램을 공유합니다.

다음 표에는 Meridian용 Cortex의 일부인 CrossMediaSalesInsightsWeeklyAgg 뷰의 세부적인 스키마가 나와 있습니다.

배포

이 페이지에서는 Meridian용 Cortex Framework를 배포하여 Google Cloud 환경 내에서 최고의 MMM을 사용 설정하는 단계를 간략히 설명합니다.

빠른 시작 데모는 Meridian용 빠른 시작 데모를 참고하세요.

아키텍처

Meridian용 Cortex는 마케팅에 Cortex Framework를 사용하고 판매 데이터와 결합된 교차 미디어 데이터를 사용합니다. Oracle EBS, SAP 또는 다른 소스 시스템에서 판매 데이터를 가져올 수 있습니다.

다음 다이어그램은 Meridian용 Cortex의 주요 구성요소를 설명합니다.

Meridian 구성요소 및 서비스

Cortex Framework Data Foundation 배포 중에(배포 기본 요건 참고) config.json 파일에서 deployMeridian를 true로 설정하여 Meridian용 Cortex를 사용 설정할 수 있습니다. 이 옵션은 Meridian에 필요한 다음 구성요소와 서비스를 설치하는 추가 Cloud Build 파이프라인을 시작합니다.

• BigQuery 뷰: K9 보고 데이터 세트인 CrossMediaSalesInsightsWeeklyAgg에 뷰가 생성됩니다. 이렇게 하면 Cortex Framework에서 마케팅 데이터와 판매 데이터를 쿼리할 수 있습니다. 뷰와 기본 소스의 실제 구현은 배포 중에 선택한 판매 데이터 소스에 따라 다릅니다.

• Cloud Storage 버킷: PROJECT_ID-cortex-meridian 버킷에는 Meridian용 Cortex에 필요하고 Cortex에서 생성한 모든 아티팩트가 다음 폴더에 포함되어 있습니다.

  • configuration: Meridian용 Cortex의 설정 및 매개변수를 정의합니다. 노트북 실행 중에 Colab Enterprise 노트북에서 사용합니다.
  • csv: Meridian 실행의 원시 데이터 출력이 여기에 CSV 파일로 저장됩니다.
  • models: Meridian 실행에서 생성된 모델이 여기에 저장됩니다.
  • notebook-run-logs: 각 실행의 노트북 사본과 로그가 여기에 저장됩니다.
  • notebooks: Meridian용 Cortex를 실행하기 위한 코드와 로직이 포함된 기본 노트북입니다. 이 노트북은 특정 요구사항을 지원하도록 추가로 맞춤설정할 수 있도록 고안되었습니다.
  • reporting: Meridian 실행의 보고서가 저장되는 폴더입니다. 또한 Meridian의 보고서 출력 링크가 포함된 개요 보고서를 생성하기 위한 HTML 템플릿도 포함되어 있습니다.

• Colab Enterprise: Colab Enterprise는 Jupyter 노트북을 사용하는 데이터 과학 및 머신러닝 워크플로를 위한 안전하고 공동작업이 가능한 환경을 제공하는 Google Cloud 의 관리형 서비스입니다. 관리형 인프라, 엔터프라이즈 수준의 보안 제어, 다른 서비스와의 통합과 같은 기능을 제공하므로 민감한 정보를 다루고 강력한 거버넌스가 필요한 팀에 적합합니다. Google Cloud Jupyter 노트북을 실행하기 위한 관리형 환경입니다.

Meridian용 Cortex는 Colab Enterprise를 사용하여 Meridian 실행을 자동화하는 데 필요한 인프라가 포함된 런타임 템플릿을 정의합니다.

워크플로를 사용하여 엔드 투 엔드 파이프라인을 트리거하면 실행이 생성됩니다. 이렇게 하면 Cloud Storage의 현재 Jupyter 노트북 사본이 최신 구성으로 실행됩니다.

• 워크플로: cortex-meridian-execute-notebook라는 Cloud Workflow가 전체 Meridian용 Cortex 파이프라인 실행을 조정합니다. 워크플로는 런타임 템플릿을 기반으로 런타임을 만들고 현재 구성으로 노트북 실행을 실행하며 마지막으로 모든 결과를 Cloud Storage에 저장하는 Colab Enterprise API를 호출합니다.

  

  워크플로에 사용할 수 있는 두 가지 구성 옵션이 있습니다.

  1. 새 Cortex for Meridian JSON 구성을 워크플로에 입력으로 제공할 수 있는 경우 이렇게 하면 흐름에서 이전 구성의 백업을 가져와 입력으로 구성을 업데이트합니다. 자세한 내용은 REPLACE를 참고하세요.

  

  1. pre_notebook_execution 단계는 노트북을 실행하기 전에 자동화해야 하는 추가 작업을 시작할 수 있는 좋은 위치입니다. 예를 들어 Cortex 외부의 소스에서 데이터를 로드하는 경우

• 서비스 계정: 배포 중에 전용 서비스 계정을 제공해야 합니다. 이는 Colab Enterprise에서 워크플로와 노트북을 실행하는 데 필요합니다.

Meridian의 추가 배포 매개변수

config.json 파일은 Cortex Framework로 Meridian을 실행하는 데 필요한 설정을 구성합니다. 이 파일에는 Meridian용 Cortex의 다음 매개변수가 포함되어 있습니다.

   "k9": {
...
        "deployMeridian": false,
...

    "Meridian":{
            "salesDataSourceType": "",
            "salesDatasetID":"",
            "deploymentType": "",
            "defaultNotebookFile":"meridian_cortex_marketing.ipynb",
            "defaultConfigFile":"cortex_meridian_config.json",
            "gcsBucketNameSuffix": "cortex-meridian",
            "workflow": {
                "template": "create_notebook_execution_run.yaml",
                "name": "cortex-meridian-execute-notebook",
                "region": "us-central1"
            },
            "runnerServiceAccount": "cortex-meridian-colab-runner",
            "colabEnterprise": {
                "region": "us-central1",
                "runtimeTemplateName": "cortex-meridian-template",
                "runtimeMachine_type": "n1-highmem-32",
                "runtimeAcceleratorCoreCount": 1,
                "runtimeAcceleratorType": "NVIDIA_TESLA_T4",
                "executionName": "cortex-meridian-execution",
                "notebookRunLogsFolder": "notebook-run-logs"
            }
        }
}

다음 표에는 각 Meridian 매개변수의 값과 설명이 나와 있습니다.

워크플로

워크플로는 Meridian 실행을 위한 Cortex를 시작하는 기본 인터페이스 역할을 합니다. cortex-meridian-execute-notebook라는 기본 워크플로가 Meridian용 Cortex의 일부로 배포됩니다.

노트북 실행

Meridian 실행을 위한 새 Cortex를 시작하려면 다음 단계를 따르세요.

1. Workflows의 cortex-meridian-execute-notebook 노트북으로 이동합니다.
2. 실행을 클릭하여 새 실행을 시작합니다.
3. 첫 실행의 경우 입력란을 비워 두면 Cloud Storage의 cortex_meridian_config.json 구성 파일에 저장된 기본 구성이 사용됩니다.
4. 실행을 다시 클릭하여 계속 진행합니다.

5. 잠시 후 워크플로 실행 상태가 표시됩니다.

   

6. Colab Enterprise에서 노트북 실행 진행 상황을 추적합니다.

워크플로 단계

cortex-meridian-execute-notebook 워크플로에는 다음 단계가 포함됩니다.

Meridian 실행 워크플로 맞춤설정

워크플로 입력란에 자체 구성 JSON 파일을 제공하여 Meridian 실행을 맞춤설정할 수 있습니다.

1. 수정된 구성의 전체 JSON을 입력란에 입력합니다.
2. 그러면 워크플로가 다음을 실행합니다.
   1. Cloud Storage의 기존 cortex_meridian_config.json 파일을 제공된 JSON으로 바꿉니다.
   2. Cloud Storage/configuration 디렉터리에 원래 구성 파일의 백업을 만듭니다.
   3. 백업 파일 이름은 cortex_meridian_config_workflow_backup_workflow_execution_id.json 형식을 따르며 여기서 workflow_execution_id은 현재 워크플로 실행의 고유 식별자입니다 (예: cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json).

Jupyter 노트북 개요

Meridian 모델을 실행하고 실행하기 위해 입력 데이터를 로드하는 핵심 기능은 Cloud Storage 버킷의 notebooks 폴더에 있는 Python 노트북 meridian_cortex_marketing.ipynb에서 처리합니다.

노트북의 실행 흐름은 다음 단계로 구성됩니다.

1. 필요한 패키지 (Meridian 포함)를 설치하고 필요한 라이브러리를 가져옵니다.
2. Cloud Storage 및 BigQuery와 상호작용하기 위한 도우미 함수를 로드합니다.
3. Cloud Storage의 configuration/cortex_meridian_config.json 파일에서 실행 구성을 가져옵니다.
4. BigQuery 내 Cortex Framework 데이터 기반 뷰에서 Cortex Framework 데이터를 로드합니다.
5. Meridian 모델 사양을 구성하고 마케팅 및 판매를 위한 Cortex Framework Data Foundation 데이터 모델을 Meridian 모델 입력 스키마에 매핑합니다.
6. Meridian 샘플링을 실행하고 Cloud Storage (/reporting)에 저장된 요약 보고서를 생성합니다.
7. 기본 시나리오에 대해 예산 최적화 도구를 실행하고 요약 보고서를 Cloud Storage (/reporting)에 출력합니다.
8. Cloud Storage (/models)에 모델을 저장합니다.
9. CSV 결과를 Cloud Storage (/csv)에 저장합니다.
10. 개요 보고서를 생성하고 Cloud Storage (/reporting)에 저장합니다.

수동 실행 및 수정을 위해 노트북 가져오기

노트북을 맞춤설정하거나 수동으로 실행하려면 Cloud Storage에서 가져오세요.

1. Colab Enterprise로 이동합니다.
2. 내 노트북을 클릭합니다.
3. 가져오기를 클릭합니다.
4. 가져오기 소스로 Cloud Storage를 선택하고 Cloud Storage에서 노트북을 선택합니다.
5. 가져오기를 클릭합니다.

6. 노트북이 로드되고 열립니다.

노트북 실행 결과

노트북 실행 결과를 검토하려면 모든 셀 출력이 포함된 노트북의 전체 사본을 엽니다.

1. Colab Enterprise에서 실행으로 이동합니다.
2. 드롭다운에서 관련 지역을 선택합니다.
3. 결과를 확인하려는 노트북 실행 옆에 있는 결과 보기를 클릭합니다.
4. Colab Enterprise에서 새 탭에 노트북 실행 결과가 열립니다.
5. 결과를 보려면 새 탭을 클릭합니다.

런타임 템플릿

Google Cloud Colab Enterprise는 런타임 템플릿을 사용하여 사전 구성된 실행 환경을 정의합니다. Meridian 노트북 실행에 적합한 사전 정의된 런타임 템플릿은 Meridian 배포용 Cortex에 포함되어 있습니다. 이 템플릿은 노트북 실행을 위한 런타임 환경을 만드는 데 자동으로 사용됩니다.

필요한 경우 수동으로 런타임 템플릿을 추가로 만들 수 있습니다.