與 Campaign Manager 360 整合
本頁面說明將 Campaign Manager 360 資料做為 Cortex Framework Data Foundation 行銷工作負載資料來源時,需要進行的設定。
Campaign Manager 360 (CM360) 是 Google 提供的網頁式廣告管理平台,專為廣告主和代理商設計。這個平台可做為中央樞紐,管理及最佳化各管道的所有數位廣告活動。Cortex Framework 提供工具和平台,可分析 CM360 資料、與其他行銷管道的資料合併,並運用 AI 取得更深入的洞察資料,進而改善整體行銷策略。
下圖說明如何透過 Cortex Framework Data Foundation 的行銷工作負載取得 CM360 資料:
設定檔
config.json
檔案會設定連線至資料來源所需的設定,以便從各種工作負載轉移資料。這個檔案包含下列 CM360 參數:
"marketing": {
"deployCM360": true,
}
"CM360": {
"deployCDC": true,
"dataTransferBucket": "",
"datasets": {
"cdc": "",
"raw": "",
"reporting": "REPORTING_CM360"
}
}
下表說明各個行銷參數的值:
參數 | 意義 | 預設值 | 說明 |
marketing.deployCM360
|
部署 CM360 | true
|
執行 CM360 資料來源的部署作業。 |
marketing.CM360.deployCDC
|
為 CM360 部署 CDC 指令碼 | true
|
產生 CM360 CDC 處理指令碼,在 Cloud Composer 中以 DAG 形式執行。 |
marketing.CM360.dataTransferBucket
|
儲存資料移轉服務結果的 bucket | - | 儲存 DTv2 檔案的 bucket。 |
marketing.CM360.datasets.cdc
|
CM360 的 CDC 資料集 | CM360 的 CDC 資料集。 | |
marketing.CM360.datasets.raw
|
CM360 的原始資料集 | CM360 的原始資料集。 | |
marketing.CM360.datasets.reporting
|
CM360 報表資料集 | "REPORTING_CM360"
|
CM360 報表資料集。 |
資料模型
本節將使用實體關係圖 (ERD) 說明 CM360 資料模型。
基本檢視畫面
這些是 ERD 中的藍色物件,也是 CDC 資料表上的檢視畫面,除了部分資料欄名稱別名外,沒有任何轉換。請參閱src/marketing/src/CM360/src/reporting/ddls
中的指令碼。
報表資料檢視
這些是 ERD 中的綠色物件,也是包含匯總指標的報表檢視畫面。請參閱src/marketing/src/CM360/src/reporting/ddls
中的指令碼。
DTv2 檔案儲存空間
DTv2 (資料移轉第 2 版) 檔案是 CM360 用來提供廣告活動成效資料的特定格式。請按照資料移轉 V2.0 文件設定資料移轉程序,以便搭配 Cortex Framework 使用 CM360。
建立或新增 Cloud Storage bucket,用於儲存 CM360 的 DTv2 檔案。請確保執行 Cloud Composer 中 DAG 的服務帳戶可讀取值區中的檔案。詳情請參閱「建立 Storage 值區」。
資料更新間隔和延遲
一般來說,Cortex Framework 資料來源的資料更新頻率取決於上游連線允許的頻率,以及 DAG 的執行頻率。調整 DAG 執行頻率,以配合上游頻率、資源限制和業務需求。
使用 CM360 資料移轉 v2 時,系統每天會傳送 24 次 (每小時一次) 的曝光和點擊資料。處理時間會因檔案而異,因此檔案可能會以非預期的順序顯示。活動記錄檔每天都會傳送。
Cloud Composer 連線
在 Cloud Composer 中建立下列連線。詳情請參閱「管理 Airflow 連線」說明文件。
連線名稱 | 目的 |
cm360_raw_dataflow
|
適用於 CM360 DTv2 檔案 > BigQuery 原始資料集 |
cm360_cdc_bq
|
針對原始資料集 > CDC 資料集移轉 |
cm360_reporting_bq
|
對於 CDC 資料集 > 報表資料集 轉移 |
Cloud Composer 服務帳戶權限
將 Dataflow 權限授予 Cloud Composer 中使用的服務帳戶 (如 cm360_raw_dataflow
連線中設定)。請參閱 Dataflow 說明文件中的操作說明。
內容攝入設定
透過 src/CM360/config/ingestion_settings.yaml
檔案中的設定,控制 Source to Raw
和 Raw to CDC
資料管道。本節說明各個資料管道的參數。
來源到原始資料表
本節說明如何使用項目控制要處理的 DTv2 檔案。每個項目都對應與一個實體相關聯的檔案。 根據這項設定,Cortex Framework 會建立 Airflow DAG,執行 Dataflow 管道來處理 DTv2 檔案中的資料。
下列參數可控制每個項目的 Source to Raw
設定:
參數 | 說明 |
base_table
|
原始資料集中的資料表,用於儲存實體的資料 (例如「點擊次數」資料)。 |
load_frequency
|
這個實體的 DAG 執行頻率,用於填入 CDC 資料表。如要進一步瞭解可能的值,請參閱 Airflow 說明文件。 |
file_pattern
|
根據與實體對應的檔案名稱模式。 |
schema_file
|
src/table_schema 目錄中的結構定義檔案,可將 DTv2 欄位對應至目的地資料表的資料欄名稱和資料類型。 |
partition_details
|
選用:如要根據效能考量分割這個表格,詳情請參閱「資料表分區」。 |
cluster_details
|
選用:如要根據成效考量,將這個表格叢集化,詳情請參閱「叢集設定」。 |
原始資料表到 CDC 資料表
本節包含的項目可控管資料從原始資料表移至 CDC 資料表的方式。每個項目都會對應到原始資料表 (也就是上述的 DTv2 實體)。
下列參數可控制每個項目的 Raw to CDC
設定:
參數 | 說明 |
base_table
|
CDC 資料集中的資料表,用於儲存 CDC 轉換後的原始資料 (例如 customer )。 |
load_frequency
|
這個實體的 DAG 執行頻率,用於填入 CDC 資料表。如要進一步瞭解可能的值,請參閱 Airflow 說明文件。 |
row_identifiers
|
資料欄清單 (以半形逗號分隔),可做為這個資料表的專屬記錄。 |
partition_details
|
選用:如要根據效能考量分割這個表格。詳情請參閱「資料表分區」。 |
cluster_details
|
選用:如要根據成效考量,將這個表格叢集化。詳情請參閱「叢集設定」。 |
報表設定
您可以使用報表設定檔 (src/CM360/config/reporting_settings.yaml
),設定及控管 Cortex Framework 如何為 CM360 最終報表層產生資料。這個檔案會控管報表層 BigQuery 物件 (資料表、檢視區塊、函式或預存程序) 的產生方式。
詳情請參閱「自訂報表設定檔」。
後續步驟
- 如要進一步瞭解其他資料來源和工作負載,請參閱「資料來源和工作負載」一文。
- 如要進一步瞭解在正式環境中部署的步驟,請參閱 Cortex Framework Data Foundation 部署作業的必要條件。