Integração com o Campaign Manager 360

Esta página descreve as configurações necessárias para transferir dados do Campaign Manager 360 como uma origem de dados da carga de trabalho de marketing da base de dados do Cortex Framework.

O Campaign Manager 360 (CM360) é uma plataforma de gestão de publicidade baseada na Web oferecida pela Google, especificamente concebida para anunciantes e agências. Funciona como um centro central para gerir e otimizar todas as suas campanhas de publicidade digital em vários canais. O Cortex Framework fornece as ferramentas e a plataforma para analisar dados do CM360, combiná-los com dados de outros canais de marketing e usar a IA para obter estatísticas mais detalhadas e otimizar a sua estratégia de marketing geral.

O diagrama seguinte descreve como os dados do CM360 estão disponíveis através da carga de trabalho de marketing da base de dados do Cortex Framework:

Origem de dados do CM360

Figura 1. Origem de dados do CM360.

Ficheiro de configuração

O ficheiro config.json configura as definições necessárias para estabelecer ligação a origens de dados para transferir dados de várias cargas de trabalho. Este ficheiro contém os seguintes parâmetros para o CM360:

   "marketing": {
        "deployCM360": true,
        }

        "CM360": {
            "deployCDC": true,
            "dataTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_CM360"
            }
        }

A tabela seguinte descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor predefinido Descrição
marketing.deployCM360 Implemente o CM360 true Execute a implementação para a origem de dados do CM360.
marketing.CM360.deployCDC Implemente scripts de CDC para o CM360 true Gere scripts de processamento de CDC do CM360 para executar como DAGs no Cloud Composer.
marketing.CM360.dataTransferBucket Contentor com resultados do Serviço de transferência de dados - Bucket onde os ficheiros DTv2 são armazenados.
marketing.CM360.datasets.cdc Conjunto de dados da CDC para o CM360 Conjunto de dados da CDC para o CM360.
marketing.CM360.datasets.raw Conjunto de dados não processados para o CM360 Conjunto de dados não processados para o CM360.
marketing.CM360.datasets.reporting Conjunto de dados de relatórios para o CM360 "REPORTING_CM360" Conjunto de dados de relatórios para o CM360.

Modelo de dados

Esta secção descreve o modelo de dados do CM360 através do diagrama de relação entre entidades (ERD).

Diagrama de relação de entidades para o CM360

Figura 2. CM360: diagrama de relação entre entidades.

Visualizações de base

Estes são os objetos azuis no DRE e são vistas em tabelas de CDC sem transformações, exceto alguns alias de nomes de colunas. Veja guiões em src/marketing/src/CM360/src/reporting/ddls.

Visualizações de propriedade de relatórios

Estes são os objetos verdes no DER e são vistas de relatórios que contêm métricas agregadas. Veja guiões em src/marketing/src/CM360/src/reporting/ddls.

Armazenamento de ficheiros do DTv2

Os ficheiros DTv2 (versão 2 da Transferência de dados) são um formato específico usado pelo CM360 para fornecer dados de desempenho das campanhas. Configure o processo de transferência de dados seguindo a documentação da Transferência de dados v2.0 para usar o CM360 com a Cortex Framework.

Crie ou adicione um contentor do Cloud Storage para armazenar os seus ficheiros DTv2 do CM360. Certifique-se de que os ficheiros no contentor são legíveis pela conta de serviço que executa os DAGs no Cloud Composer. Para mais informações, consulte o artigo Crie contentores de armazenamento.

Atualidade e atraso dos dados

Regra geral, a atualização dos dados das origens de dados do Cortex Framework é limitada pelo que a ligação a montante permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência a montante, as restrições de recursos e as necessidades da sua empresa.

Com a Transferência de dados v2 do CM360, os dados de impressões e cliques são enviados 24 vezes por dia (de hora a hora). O tempo de processamento pode variar consoante o ficheiro, pelo que os ficheiros podem aparecer desordenados. Os ficheiros de atividade são enviados diariamente.

Ligações do Cloud Composer

Crie as seguintes associações no Cloud Composer. Para mais detalhes, consulte a documentação sobre a gestão de associações do Airflow.

Nome da associação Purpose
cm360_raw_dataflow Para ficheiros DTv2 do CM360 > BigQuery Conjunto de dados não processados
cm360_cdc_bq Para o conjunto de dados não processados > Transferência do conjunto de dados de CDC
cm360_reporting_bq Para o conjunto de dados da CDC > conjunto de dados de relatórios transferência

Autorizações da conta de serviço do Cloud Composer

Conceda autorizações do Dataflow à conta de serviço usada no Cloud Composer (conforme configurado na associação cm360_raw_dataflow). Consulte as instruções na documentação do Dataflow.

Definições de carregamento

Controle os pipelines de dados Source to Raw e Raw to CDC através das definições no ficheiro src/CM360/config/ingestion_settings.yaml. Esta secção descreve os parâmetros de cada pipeline de dados.

Origem para tabelas não processadas

Esta secção descreve como as entradas que controlam que ficheiros do DTv2 são processados. Cada entrada corresponde a ficheiros associados a uma entidade. Com base nesta configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados dos ficheiros DTv2.

Os seguintes parâmetros controlam as definições de Source to Raw para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados não processados onde os dados de uma entidade são armazenados (por exemplo, dados de "Cliques").
load_frequency A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
file_pattern Com base em padrões de nomes de ficheiros que correspondem a uma entidade.
schema_file Ficheiro de esquema no diretório src/table_schema que mapeia os campos da DTv2 para os nomes das colunas e os tipos de dados da tabela de destino.
partition_details Opcional: se quiser que esta tabela seja particionada por motivos de desempenho. Para mais informações, consulte o artigo Partição de tabelas.
cluster_details Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster.

Tabelas de dados não processados para tabelas do CDC

Esta secção tem entradas que controlam a forma como os dados são movidos das tabelas não processadas para as tabelas de CDC. Cada entrada corresponde a uma tabela não processada (que, por sua vez, corresponde à entidade DTv2, conforme mencionado acima).

Os seguintes parâmetros controlam as definições de Raw to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC onde os dados não processados após a transformação de CDC são armazenados (por exemplo, customer).
load_frequency A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
row_identifiers Lista de colunas (separadas por vírgulas) que formam um registo único para esta tabela.
partition_details Opcional: se quiser que esta tabela seja particionada para ter em conta o desempenho. Para mais informações, consulte o artigo Partição de tabelas.
cluster_details Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster.
Definições de relatórios

Pode configurar e controlar a forma como a Cortex Framework gera dados para a camada de relatórios final do CM360 através do ficheiro de definições de relatórios (src/CM360/config/reporting_settings.yaml). Este ficheiro controla a forma como os objetos do BigQuery da camada de relatórios (tabelas, vistas, funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte o artigo Personalizar o ficheiro de definições de relatórios.

O que se segue?