TikTok との連携
このページでは、Cortex Framework Data Foundation のマーケティング ワークロードのデータソースとして TikTok からデータを取得するために必要な構成について説明します。
TikTok は、短い動画で知られる人気のソーシャル メディア アプリです。Cortex Framework は、マーケティングの全体的なパフォーマンスを分析するためにデータを取得できます。TikTok とさまざまなソースのデータを取り込むことで、ターゲット オーディエンスと、さまざまなプラットフォームにおけるソーシャル メディア キャンペーンの効果をより包括的に把握できます。
次の図は、Cortex Framework Data Foundation のマーケティング ワークロードで TikTok データを利用できるようにする方法を示しています。
構成ファイル
config.json
ファイルでは、さまざまなワークロードからデータを転送するためにデータソースに接続するために必要な設定を構成します。このファイルには、TikTok の次のパラメータが含まれています。
"marketing": {
"deployTikTok": true,
},
"TikTok": {
"deployCDC": true,
"datasets": {
"cdc": "",
"raw": "",
"reporting": "REPORTING_TikTok"
}
}
次の表に、各マーケティング パラメータの値を示します。
パラメータ | 意味 | デフォルト値 | 説明 |
marketing.deployTikTok
|
TikTok をデプロイする | true
|
TikTok データソースのデプロイを実行します。 |
marketing.TikTok.deployCDC
|
TikTok の CDC スクリプトをデプロイする | true
|
TikTok CDC 処理スクリプトを生成して、Cloud Composer で DAG として実行します。 |
marketing.TikTok.datasets.cdc
|
TikTok の CDC データセット | TikTok の CDC データセット。 | |
marketing.TikTok.datasets.raw
|
TikTok の元データセット | TikTok の元データセット。 | |
marketing.TikTok.datasets.reporting
|
TikTok のレポート データセット | "REPORTING_TikTok"
|
TikTok のレポート データセット。 |
データモデル
このセクションでは、エンティティ リレーションシップ ダイアグラム(ERD)を使用して TikTok データモデルについて説明します。
ベースビュー
これらは ERD の青色のオブジェクトであり、CDC テーブルのビューで、一部の列名エイリアス以外の変換はありません。スクリプトは src/marketing/src/TikTok/src/reporting/ddls
にあります。
レポートビュー
これらは ERD の緑色のオブジェクトであり、集計指標を含むレポートビューです。スクリプトは src/marketing/src/TikTok/src/reporting/ddls
にあります。
API 接続
Cortex Framework は、TikTok データの信頼できるソースとして TikTok Reporting API バージョン v1.3 を使用します。Cortex Framework は同期モードを使用し、Basic Reporting API を呼び出して、広告と広告グループのパフォーマンス指標を取得します。これにより、Cortex Framework は TikTok の最新かつ正確な情報にアクセスできるため、効果的なデータ分析とレポート作成が可能になります。
API 接続の詳細については、TikTok Reporting API をご覧ください。
アカウント認証
TikTok アカウントとアカウント認証を設定するには、次の操作を行います。
- TikTok デベロッパー アカウントを設定します(まだ設定していない場合)。
- Cortex Framework 統合用のアプリを作成します。詳しくは、TikTok API for Business をご覧ください。アプリのスコープで次の 2 つを選択していることを確認します。
Ad Account Management/Ad Account Information
Reporting/All
- TikTok ガイドに記載されている手順に沿って、アプリ ID、シークレット、長期アクセス トークンを取得し、それぞれ次の名前で Secret Manager に保存します。
- アプリ ID:
cortex_tiktok_app_id
- シークレット:
cortex_tiktok_app_secret
- 長期アクセス トークン:
cortex_tiktok_access_token
- アプリ ID:
データの更新頻度と遅延
一般に、Cortex Framework データソースのデータの更新頻度は、アップストリーム接続で許可される頻度と DAG 実行の頻度によって制限されます。アップストリームの頻度、リソースの制約、ビジネスニーズに合わせて DAG の実行頻度を調整します。
TikTok Marketing API を使用すると、ほとんどのデータ(コンバージョンを除く)をほぼリアルタイムで利用できます。
Cloud Composer 接続
Cloud Composer で次の接続を作成します。詳細については、Airflow 接続を管理するドキュメントをご覧ください。
接続名 | 目的 |
tiktok_raw_dataflow
|
TikTok API > BigQuery 未加工データセット |
tiktok_cdc_bq
|
元データセット > CDC データセットの転送の場合 |
tiktok_reporting_bq
|
CDC データセットの場合 > レポート データセットの転送 |
Cloud Composer サービス アカウントの権限
Cloud Composer で使用されるサービス アカウントに Dataflow 権限を付与します(tiktok_raw_dataflow
接続で構成されているように)。Dataflow のドキュメントの手順をご覧ください。
また、同じサービス アカウントに Secret Manager アクセサーのアクセス権も付与する必要があります。
取り込み設定
Source to Raw
と Raw to CDC
のデータ パイプラインは、ファイル src/TikTok/config/ingestion_settings.yaml
の設定で制御します。このセクションでは、各データ パイプラインのパラメータについて説明します。
ソースから未加工テーブル
このセクションには、TikTok からのデータの取得方法と、元のデータセット内でのデータの最終的な配置を制御するエントリがあります。各エントリは、そのエンティティの TikTok API から取得されたデータを含む 1 つの未加工テーブルに対応しています。この構成パラメータに基づいて、Cortex Framework は、Dataflow パイプラインを実行して TikTok API のデータ処理を行う Airflow DAG を作成します。
次のパラメータは、各エントリの Source to Raw
の設定を制御します。
パラメータ | 説明 |
base_table
|
エンティティのデータ(「広告」データなど)が保存されている元データセット内のテーブル。 |
load_frequency
|
このエンティティで DAG が実行されてデータを処理する頻度。有効な値の詳細については、Airflow のドキュメントをご覧ください。 |
schema_file
|
API レスポンス フィールドを宛先テーブルの列名にマッピングする src/table_schema ディレクトリ内のスキーマ ファイル。 |
partition_details
|
省略可: パフォーマンスを考慮してこのテーブルをパーティショニングする場合。詳細については、テーブル パーティションをご覧ください。 |
cluster_details
|
省略可: パフォーマンスを考慮してこのテーブルをクラスタリングする場合。詳細については、クラスタ設定をご覧ください。 |
元のテーブルから CDC テーブル
このセクションには、元のテーブルから CDC テーブルにデータが移動する方法を指定するエントリがあります。各エントリは CDC テーブルに対応しています(これは、Source to Raw table
で指定されたエンティティに対応しています)。
次のパラメータは、各エントリの Raw to CDC
の設定を制御します。
パラメータ | 説明 |
base_table
|
CDC 変換後の元データが保存される CDC データセット内のテーブル(auction_ad_performance など) |
load_frequency
|
このエンティティの DAG が実行され、CDC テーブルにデータが入力される頻度。有効な値の詳細については、Airflow のドキュメントをご覧ください。 |
row_identifiers
|
このテーブルの一意のレコードを形成する列のリスト(カンマ区切り)。 |
partition_details
|
省略可: パフォーマンスを考慮してこのテーブルをパーティショニングする場合。詳細については、テーブル パーティションをご覧ください。 |
cluster_details
|
省略可: パフォーマンスを考慮してこのテーブルをクラスタ化する場合は、詳細については、クラスタ設定をご覧ください。 |
レポート設定
レポート設定ファイル src/TikTok/config/reporting_settings.yaml
を使用して、Cortex Framework が TikTok 最終レポートレイヤ用にデータを生成する方法を構成して制御します。このファイルは、レポートレイヤの BigQuery オブジェクト(テーブル、ビュー、関数、ストアド プロシージャ)の生成方法を制御します。
詳細については、レポート設定ファイルのカスタマイズをご覧ください。
次のステップ
- その他のデータソースとワークロードの詳細については、データソースとワークロードをご覧ください。
- 本番環境にデプロイする手順の詳細については、Cortex Framework Data Foundation のデプロイの前提条件をご覧ください。