Integração com o TikTok

Esta página descreve as configurações necessárias para importar dados do TikTok como origem de dados da carga de trabalho de marketing da Data Foundation do Cortex Framework.

O TikTok é uma app de redes sociais popular conhecida pelos vídeos de formato curto. A estrutura Cortex pode fornecer dados para analisar o desempenho geral do marketing. Ao combinar dados do TikTok e de várias origens, pode obter uma compreensão mais abrangente do seu público-alvo e da eficácia das suas campanhas de redes sociais em diferentes plataformas.

O diagrama seguinte descreve como os dados do TikTok estão disponíveis através da carga de trabalho de marketing da base de dados do Cortex Framework:

Origem de dados do TikTok

Figura 1. Origem de dados do TikTok.

Ficheiro de configuração

O ficheiro config.json configura as definições necessárias para estabelecer ligação a origens de dados para transferir dados de várias cargas de trabalho. Este ficheiro contém os seguintes parâmetros para o TikTok:

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

A tabela seguinte descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor predefinido Descrição
marketing.deployTikTok Implemente o TikTok true Execute a implementação para a origem de dados do TikTok.
marketing.TikTok.deployCDC Implemente scripts de CDC para o TikTok true Gere scripts de processamento de CDC do TikTok para executar como DAGs no Cloud Composer.
marketing.TikTok.datasets.cdc Conjunto de dados dos CDC para o TikTok Conjunto de dados de CDC para o TikTok.
marketing.TikTok.datasets.raw Conjunto de dados não processados para o TikTok Conjunto de dados não processados para o TikTok.
marketing.TikTok.datasets.reporting Conjunto de dados de relatórios para o TikTok "REPORTING_TikTok" Conjunto de dados de relatórios para o TikTok.

Modelo de dados

Esta secção descreve o modelo de dados do TikTok através do diagrama de relação entre entidades (ERD).

Diagrama de relação entre entidades para o TikTok

Figura 2. TikTok: diagrama de relação entre entidades.

Visualizações de base

Estes são os objetos azuis no DRE e são vistas em tabelas de CDC sem transformações, exceto alguns alias de nomes de colunas. Veja guiões em src/marketing/src/TikTok/src/reporting/ddls.

Visualizações de propriedade de relatórios

Estes são os objetos verdes no DER e são vistas de relatórios que contêm métricas agregadas. Veja guiões em src/marketing/src/TikTok/src/reporting/ddls.

Ligação à API

O Cortex Framework usa as APIs TikTok Reporting, versão v1.3, como a fonte autorizada para dados do TikTok. A framework Cortex usa o modo síncrono e chama as APIs Basic Reporting para obter métricas de desempenho para anúncios e grupos de anúncios. Isto garante que o Cortex Framework tem acesso a informações atualizadas e precisas do TikTok, o que permite uma análise e relatórios de dados eficazes.

Para mais informações sobre a ligação à API, consulte as APIs de relatórios do TikTok.

Autenticação da conta

Para configurar uma conta do TikTok e a autenticação da conta, siga estes passos:

  1. Configure uma conta de programador do TikTok, se ainda não a tiver.
  2. Crie uma app para integração da framework Cortex. Consulte a API TikTok for Business para mais informações. Certifique-se de que seleciona as seguintes duas opções nos âmbitos da app:
    • Ad Account Management/Ad Account Information
    • Reporting/All
  3. Obtenha o ID da app, o segredo e o token de acesso a longo prazo, conforme descrito no guia do TikTok, e armazene-os, respetivamente, no Secret Manager com os seguintes nomes:
    • ID da app: cortex_tiktok_app_id
    • Segredo: cortex_tiktok_app_secret
    • Chave de acesso a longo prazo: cortex_tiktok_access_token

Atualidade e atraso dos dados

Regra geral, a atualização dos dados das origens de dados do Cortex Framework é limitada pelo que a ligação a montante permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência a montante, as restrições de recursos e as necessidades da sua empresa.

Com a API TikTok Marketing, a maioria dos dados (exceto conversões) está disponível quase em tempo real.

Ligações do Cloud Composer

Crie as seguintes associações no Cloud Composer. Para mais detalhes, consulte a documentação sobre a gestão de ligações do Airflow.

Nome da associação Purpose
tiktok_raw_dataflow Para API TikTok > BigQuery Conjunto de dados não processados
tiktok_cdc_bq Para o conjunto de dados não processados > Transferência do conjunto de dados de CDC
tiktok_reporting_bq Para o conjunto de dados do CDC > Transferência do conjunto de dados de relatórios

Autorizações da conta de serviço do Cloud Composer

Conceda autorizações do Dataflow à conta de serviço usada no Cloud Composer (conforme configurado na associação tiktok_raw_dataflow). Consulte as instruções na documentação do Dataflow.

Além disso, a mesma conta de serviço também deve ter acesso de acesso ao Secret Manager.

Definições de carregamento

Controle os pipelines de dados Source to Raw e Raw to CDC através das definições no ficheiro src/TikTok/config/ingestion_settings.yaml. Esta secção descreve os parâmetros de cada pipeline de dados.

Origem para tabelas não processadas

Esta secção tem entradas que controlam como os dados do TikTok são obtidos e onde os dados acabam no conjunto de dados não processados. Cada entrada corresponde a uma tabela não processada que tem dados obtidos da API TikTok para essa entidade. Com base nestes parâmetros de configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados das APIs TikTok.

Os seguintes parâmetros controlam as definições de Source to Raw para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados não processados onde os dados de uma entidade são armazenados(por exemplo, dados de "Anúncio").
load_frequency Com que frequência um DAG é executado para esta entidade para processar dados. Consulte a documentação do Airflow para ver detalhes sobre os valores possíveis.
schema_file Ficheiro de esquema no diretório src/table_schema que mapeia os campos de resposta da API para os nomes das colunas da tabela de destino.
partition_details Opcional: se quiser que esta tabela seja particionada por motivos de desempenho. Para mais informações, consulte o artigo Partição de tabelas.
cluster_details Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster.

Tabelas de dados não processados para tabelas do CDC

Esta secção tem entradas que controlam a forma como os dados se movem das tabelas não processadas para as tabelas de CDC. Cada entrada corresponde a uma tabela de CDC (que, por sua vez, corresponde a uma entidade mencionada para o Source to Raw table).

Os seguintes parâmetros controlam as definições de Raw to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC onde os dados brutos são armazenados após a transformação de CDC (por exemplo,auction_ad_performance)
load_frequency A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações, consulte a documentação do Airflow para ver detalhes sobre os valores possíveis.
row_identifiers Lista de colunas (separadas por vírgulas) que formam um registo único para esta tabela.
partition_details Opcional: se quiser que esta tabela seja particionada para ter em conta o desempenho. Para mais informações, consulte o artigo Partição de tabelas.
cluster_details Opcional: se quiser que esta tabela seja agrupada para ter em conta o desempenho. Para mais informações, consulte o artigo Definições de cluster.

Definições de relatórios

Configure e controle como a framework Cortex gera dados para a camada de relatórios final do TikTok através do ficheiro de definições de relatóriossrc/TikTok/config/reporting_settings.yaml. Este ficheiro controla a forma como os objetos do BigQuery da camada de relatórios (tabelas, vistas, funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte o artigo Personalizar o ficheiro de definições de relatórios.

O que se segue?