Integração com o TikTok
Esta página descreve as configurações necessárias para importar dados do TikTok como origem de dados da carga de trabalho de marketing da Data Foundation do Cortex Framework.
O TikTok é uma app de redes sociais popular conhecida pelos vídeos de formato curto. A estrutura Cortex pode fornecer dados para analisar o desempenho geral do marketing. Ao combinar dados do TikTok e de várias origens, pode obter uma compreensão mais abrangente do seu público-alvo e da eficácia das suas campanhas de redes sociais em diferentes plataformas.
O diagrama seguinte descreve como os dados do TikTok estão disponíveis através da carga de trabalho de marketing da base de dados do Cortex Framework:
Ficheiro de configuração
O ficheiro config.json
configura as definições necessárias para estabelecer ligação a origens de dados para transferir
dados de várias cargas de trabalho. Este ficheiro contém os seguintes parâmetros para o TikTok:
"marketing": {
"deployTikTok": true,
},
"TikTok": {
"deployCDC": true,
"datasets": {
"cdc": "",
"raw": "",
"reporting": "REPORTING_TikTok"
}
}
A tabela seguinte descreve o valor de cada parâmetro de marketing:
Parâmetro | Significado | Valor predefinido | Descrição |
marketing.deployTikTok
|
Implemente o TikTok | true
|
Execute a implementação para a origem de dados do TikTok. |
marketing.TikTok.deployCDC
|
Implemente scripts de CDC para o TikTok | true
|
Gere scripts de processamento de CDC do TikTok para executar como DAGs no Cloud Composer. |
marketing.TikTok.datasets.cdc
|
Conjunto de dados dos CDC para o TikTok | Conjunto de dados de CDC para o TikTok. | |
marketing.TikTok.datasets.raw
|
Conjunto de dados não processados para o TikTok | Conjunto de dados não processados para o TikTok. | |
marketing.TikTok.datasets.reporting
|
Conjunto de dados de relatórios para o TikTok | "REPORTING_TikTok"
|
Conjunto de dados de relatórios para o TikTok. |
Modelo de dados
Esta secção descreve o modelo de dados do TikTok através do diagrama de relação entre entidades (ERD).
Visualizações de base
Estes são os objetos azuis no DRE e são vistas em tabelas de CDC sem transformações, exceto alguns alias de nomes de colunas. Veja guiões em
src/marketing/src/TikTok/src/reporting/ddls
.
Visualizações de propriedade de relatórios
Estes são os objetos verdes no DER e são vistas de relatórios que contêm métricas agregadas. Veja guiões em
src/marketing/src/TikTok/src/reporting/ddls
.
Ligação à API
O Cortex Framework usa as APIs TikTok Reporting, versão v1.3, como a fonte autorizada para dados do TikTok. A framework Cortex usa o modo síncrono e chama as APIs Basic Reporting para obter métricas de desempenho para anúncios e grupos de anúncios. Isto garante que o Cortex Framework tem acesso a informações atualizadas e precisas do TikTok, o que permite uma análise e relatórios de dados eficazes.
Para mais informações sobre a ligação à API, consulte as APIs de relatórios do TikTok.
Autenticação da conta
Para configurar uma conta do TikTok e a autenticação da conta, siga estes passos:
- Configure uma conta de programador do TikTok, se ainda não a tiver.
- Crie uma app para integração da framework Cortex. Consulte a
API TikTok for Business
para mais informações. Certifique-se de que seleciona as seguintes duas opções nos âmbitos da app:
Ad Account Management/Ad Account Information
Reporting/All
- Obtenha o ID da app, o segredo e o token de acesso a longo prazo, conforme descrito no
guia do TikTok,
e armazene-os, respetivamente, no Secret Manager
com os seguintes nomes:
- ID da app:
cortex_tiktok_app_id
- Segredo:
cortex_tiktok_app_secret
- Chave de acesso a longo prazo:
cortex_tiktok_access_token
- ID da app:
Atualidade e atraso dos dados
Regra geral, a atualização dos dados das origens de dados do Cortex Framework é limitada pelo que a ligação a montante permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência a montante, as restrições de recursos e as necessidades da sua empresa.
Com a API TikTok Marketing, a maioria dos dados (exceto conversões) está disponível quase em tempo real.
Ligações do Cloud Composer
Crie as seguintes associações no Cloud Composer. Para mais detalhes, consulte a documentação sobre a gestão de ligações do Airflow.
Nome da associação | Purpose |
tiktok_raw_dataflow
|
Para API TikTok > BigQuery Conjunto de dados não processados |
tiktok_cdc_bq
|
Para o conjunto de dados não processados > Transferência do conjunto de dados de CDC |
tiktok_reporting_bq
|
Para o conjunto de dados do CDC > Transferência do conjunto de dados de relatórios |
Autorizações da conta de serviço do Cloud Composer
Conceda autorizações do Dataflow à conta de serviço usada no
Cloud Composer (conforme configurado na associação tiktok_raw_dataflow
).
Consulte as instruções na documentação do Dataflow.
Além disso, a mesma conta de serviço também deve ter acesso de acesso ao Secret Manager.
Definições de carregamento
Controle os pipelines de dados Source to Raw
e Raw to CDC
através das definições no ficheiro src/TikTok/config/ingestion_settings.yaml
. Esta secção descreve os parâmetros
de cada pipeline de dados.
Origem para tabelas não processadas
Esta secção tem entradas que controlam como os dados do TikTok são obtidos e onde os dados acabam no conjunto de dados não processados. Cada entrada corresponde a uma tabela não processada que tem dados obtidos da API TikTok para essa entidade. Com base nestes parâmetros de configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados das APIs TikTok.
Os seguintes parâmetros controlam as definições de Source to Raw
para cada entrada:
Parâmetro | Descrição |
base_table
|
Tabela no conjunto de dados não processados onde os dados de uma entidade são armazenados(por exemplo, dados de "Anúncio"). |
load_frequency
|
Com que frequência um DAG é executado para esta entidade para processar dados. Consulte a documentação do Airflow para ver detalhes sobre os valores possíveis. |
schema_file
|
Ficheiro de esquema no diretório src/table_schema
que mapeia os campos de resposta da API para os nomes das colunas da tabela de destino.
|
partition_details
|
Opcional: se quiser que esta tabela seja particionada por motivos de desempenho. Para mais informações, consulte o artigo Partição de tabelas. |
cluster_details
|
Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster. |
Tabelas de dados não processados para tabelas do CDC
Esta secção tem entradas que controlam a forma como os dados se movem das tabelas não processadas para as tabelas de CDC. Cada entrada corresponde a uma tabela de CDC (que, por sua vez, corresponde a uma entidade mencionada para o Source to Raw table
).
Os seguintes parâmetros controlam as definições de Raw to CDC
para cada entrada:
Parâmetro | Descrição |
base_table
|
Tabela no conjunto de dados de CDC onde os dados brutos são armazenados após a transformação de CDC (por exemplo,auction_ad_performance )
|
load_frequency
|
A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações, consulte a documentação do Airflow para ver detalhes sobre os valores possíveis. |
row_identifiers
|
Lista de colunas (separadas por vírgulas) que formam um registo único para esta tabela. |
partition_details
|
Opcional: se quiser que esta tabela seja particionada para ter em conta o desempenho. Para mais informações, consulte o artigo Partição de tabelas. |
cluster_details
|
Opcional: se quiser que esta tabela seja agrupada para ter em conta o desempenho. Para mais informações, consulte o artigo Definições de cluster. |
Definições de relatórios
Configure e controle como a framework Cortex gera dados para a camada de relatórios final do TikTok através do ficheiro de definições de relatóriossrc/TikTok/config/reporting_settings.yaml
.
Este ficheiro controla a forma como os objetos do BigQuery da camada de relatórios (tabelas, vistas, funções ou procedimentos armazenados) são gerados.
Para mais informações, consulte o artigo Personalizar o ficheiro de definições de relatórios.
O que se segue?
- Para mais informações sobre outras origens de dados e cargas de trabalho, consulte o artigo Origens de dados e cargas de trabalho.
- Para mais informações sobre os passos de implementação em ambientes de produção, consulte os Pré-requisitos de implementação da base de dados do Cortex Framework.