與 TikTok 整合

本頁說明將 TikTok 資料做為 Cortex Framework Data Foundation 行銷工作負載資料來源時,需要進行的設定。

TikTok 是熱門的社群媒體應用程式,以短片聞名,Cortex Framework 可提供資料,分析整體行銷成效。結合 TikTok 和各種來源的資料,您就能更全面地瞭解目標對象,以及社群媒體廣告活動在不同平台上的成效。

下圖說明如何透過 Cortex Framework Data Foundation 的行銷工作負載取得 TikTok 資料:

TikTok 資料來源

圖 1:TikTok 資料來源。

設定檔

config.json 檔案會設定連線至資料來源所需的設定,以便從各種工作負載轉移資料。這個檔案包含 TikTok 的下列參數:

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

下表說明各個行銷參數的值:

參數 意義 預設值 說明
marketing.deployTikTok 部署 TikTok true 執行 TikTok 資料來源的部署作業。
marketing.TikTok.deployCDC 為 TikTok 部署 CDC 指令碼 true 產生 TikTok CDC 處理指令碼,在 Cloud Composer 中以 DAG 形式執行。
marketing.TikTok.datasets.cdc TikTok 的 CDC 資料集 TikTok 的 CDC 資料集。
marketing.TikTok.datasets.raw TikTok 原始資料集 TikTok 的原始資料集。
marketing.TikTok.datasets.reporting TikTok 報表資料集 "REPORTING_TikTok" TikTok 的報表資料集。

資料模型

本節將使用實體關係圖 (ERD) 說明 TikTok 資料模型。

TikTok 的實體關係圖

圖 2:TikTok:實體關係圖。

基本檢視畫面

這些是 ERD 中的藍色物件,也是 CDC 資料表上的檢視畫面,除了部分資料欄名稱別名外,沒有任何轉換。請參閱src/marketing/src/TikTok/src/reporting/ddls中的指令碼。

報表資料檢視

這些是 ERD 中的綠色物件,也是包含匯總指標的報表檢視畫面。請參閱src/marketing/src/TikTok/src/reporting/ddls中的指令碼。

API 連線

Cortex Framework 使用 TikTok Reporting API v1.3 版,做為 TikTok 資料的權威來源。Cortex Framework 會使用同步模式,並呼叫 Basic Reporting API,以擷取廣告和廣告群組的成效指標。確保 Cortex Framework 能存取 TikTok 的最新資訊,有效進行資料分析和產生報表。

如要進一步瞭解 API 連線,請參閱「TikTok 報表 API」。

帳戶驗證

如要設定 TikTok 帳戶和帳戶驗證,請按照下列步驟操作:

  1. 如果還沒有 TikTok 開發人員帳戶,請先設定。
  2. 建立應用程式,以便整合 Cortex Framework。詳情請參閱「TikTok API for Business」。請務必在應用程式的範圍中選取下列兩項:
    • Ad Account Management/Ad Account Information
    • Reporting/All
  3. 按照 TikTok 指南的說明,取得應用程式 ID密鑰長期存取權杖,然後分別以以下名稱儲存在 Secret Manager 中:
    • 應用程式 IDcortex_tiktok_app_id
    • 密碼cortex_tiktok_app_secret
    • 長期存取權杖cortex_tiktok_access_token

資料更新間隔和延遲

一般來說,Cortex Framework 資料來源的資料更新頻率取決於上游連線允許的頻率,以及 DAG 的執行頻率。調整 DAG 執行頻率,以配合上游頻率、資源限制和業務需求。

透過 TikTok Marketing API,您幾乎可以即時取得大部分資料 (不含轉換)。

Cloud Composer 連線

在 Cloud Composer 中建立下列連線。詳情請參閱管理 Airflow 連線說明文件

連線名稱 目的
tiktok_raw_dataflow 適用於 TikTok API > BigQuery 原始資料集
tiktok_cdc_bq 針對原始資料集 > CDC 資料集移轉
tiktok_reporting_bq 如為 CDC 資料集 > 報表資料集轉移

Cloud Composer 服務帳戶權限

將 Dataflow 權限授予 Cloud Composer 中使用的服務帳戶 (如 tiktok_raw_dataflow 連線中設定)。請參閱 Dataflow 說明文件中的操作說明。

此外,該服務帳戶也應具備 Secret Manager 存取權。

內容攝入設定

透過檔案 src/TikTok/config/ingestion_settings.yaml 中的設定,控制 Source to RawRaw to CDC 資料管道。本節將說明各個資料管道的參數。

來源到原始資料表

這個專區的項目會控管如何擷取 TikTok 的資料,以及資料在原始資料集中的位置。每個項目都對應到一個原始資料表,其中包含從 TikTok API 擷取的該實體資料。Cortex Framework 會根據這些設定參數建立 Airflow DAG,執行 Dataflow 管道來處理 TikTok API 的資料。

下列參數可控管每個項目的 Source to Raw 設定:

參數 說明
base_table 原始資料集中的資料表,用於儲存實體的資料(例如「廣告」資料)。
load_frequency DAG 為這個實體執行資料處理的頻率。如要瞭解可能的值,請參閱 Airflow 說明文件
schema_file src/table_schema 目錄中的結構定義檔案,可將 API 回應欄位對應至目的地資料表的資料欄名稱。
partition_details 選用:如要根據效能考量分割這個表格,詳情請參閱「資料表分區」。
cluster_details 選用:如要根據成效考量,將這個表格叢集化,詳情請參閱「叢集設定」。

原始資料表到 CDC 資料表

本節包含的項目可控管資料從原始資料表移至 CDC 資料表的方式。每個項目都對應至 CDC 表格 (而 CDC 表格又對應至 Source to Raw table 中提及的實體)。

下列參數可控制每個項目的 Raw to CDC 設定:

參數 說明
base_table CDC 資料集中的資料表,用於儲存 CDC 轉換後的原始資料 (例如 auction_ad_performance)。
load_frequency 這個實體的 DAG 執行頻率,用於填入 CDC 資料表。詳情請參閱 Airflow 說明文件,瞭解可能的值。
row_identifiers 資料欄清單 (以半形逗號分隔),可做為這個資料表的專屬記錄。
partition_details 選用:如要根據效能考量分割這個表格,詳情請參閱「資料表分區」。
cluster_details 選用:如要根據成效考量因素,將這個表格分組,詳情請參閱「叢集設定」。

報表設定

使用報表設定檔 src/TikTok/config/reporting_settings.yaml,設定及控管 Cortex Framework 如何為 TikTok 最終報表層產生資料。這個檔案會控管報表層 BigQuery 物件 (資料表、檢視區塊、函式或預存程序) 的產生方式。

詳情請參閱「自訂報表設定檔」。

後續步驟