Integração com o Campaign Manager 360
Esta página descreve as configurações necessárias para transferir dados do Campaign Manager 360 como uma origem de dados da carga de trabalho de marketing da base de dados do Cortex Framework.
O Campaign Manager 360 (CM360) é uma plataforma de gestão de publicidade baseada na Web oferecida pela Google, especificamente concebida para anunciantes e agências. Funciona como um centro central para gerir e otimizar todas as suas campanhas de publicidade digital em vários canais. O Cortex Framework fornece as ferramentas e a plataforma para analisar dados do CM360, combiná-los com dados de outros canais de marketing e usar a IA para obter estatísticas mais detalhadas e otimizar a sua estratégia de marketing geral.
O diagrama seguinte descreve como os dados do CM360 estão disponíveis através da carga de trabalho de marketing da base de dados do Cortex Framework:
Ficheiro de configuração
O ficheiro config.json
configura as definições necessárias para estabelecer ligação a origens de dados para transferir
dados de várias cargas de trabalho. Este ficheiro contém os seguintes parâmetros para o CM360:
"marketing": {
"deployCM360": true,
}
"CM360": {
"deployCDC": true,
"dataTransferBucket": "",
"datasets": {
"cdc": "",
"raw": "",
"reporting": "REPORTING_CM360"
}
}
A tabela seguinte descreve o valor de cada parâmetro de marketing:
Parâmetro | Significado | Valor predefinido | Descrição |
marketing.deployCM360
|
Implemente o CM360 | true
|
Execute a implementação para a origem de dados do CM360. |
marketing.CM360.deployCDC
|
Implemente scripts de CDC para o CM360 | true
|
Gere scripts de processamento de CDC do CM360 para executar como DAGs no Cloud Composer. |
marketing.CM360.dataTransferBucket
|
Contentor com resultados do Serviço de transferência de dados | - | Bucket onde os ficheiros DTv2 são armazenados. |
marketing.CM360.datasets.cdc
|
Conjunto de dados da CDC para o CM360 | Conjunto de dados da CDC para o CM360. | |
marketing.CM360.datasets.raw
|
Conjunto de dados não processados para o CM360 | Conjunto de dados não processados para o CM360. | |
marketing.CM360.datasets.reporting
|
Conjunto de dados de relatórios para o CM360 | "REPORTING_CM360"
|
Conjunto de dados de relatórios para o CM360. |
Modelo de dados
Esta secção descreve o modelo de dados do CM360 através do diagrama de relação entre entidades (ERD).
Visualizações de base
Estes são os objetos azuis no DRE e são vistas em tabelas de CDC sem transformações, exceto alguns alias de nomes de colunas. Veja guiões em
src/marketing/src/CM360/src/reporting/ddls
.
Visualizações de propriedade de relatórios
Estes são os objetos verdes no DER e são vistas de relatórios que contêm métricas agregadas. Veja guiões em
src/marketing/src/CM360/src/reporting/ddls
.
Armazenamento de ficheiros do DTv2
Os ficheiros DTv2 (versão 2 da Transferência de dados) são um formato específico usado pelo CM360 para fornecer dados de desempenho das campanhas. Configure o processo de transferência de dados seguindo a documentação da Transferência de dados v2.0 para usar o CM360 com a Cortex Framework.
Crie ou adicione um contentor do Cloud Storage para armazenar os seus ficheiros DTv2 do CM360. Certifique-se de que os ficheiros no contentor são legíveis pela conta de serviço que executa os DAGs no Cloud Composer. Para mais informações, consulte o artigo Crie contentores de armazenamento.
Atualidade e atraso dos dados
Regra geral, a atualização dos dados das origens de dados do Cortex Framework é limitada pelo que a ligação a montante permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência a montante, as restrições de recursos e as necessidades da sua empresa.
Com a Transferência de dados v2 do CM360, os dados de impressões e cliques são enviados 24 vezes por dia (de hora a hora). O tempo de processamento pode variar consoante o ficheiro, pelo que os ficheiros podem aparecer desordenados. Os ficheiros de atividade são enviados diariamente.
Ligações do Cloud Composer
Crie as seguintes associações no Cloud Composer. Para mais detalhes, consulte a documentação sobre a gestão de associações do Airflow.
Nome da associação | Purpose |
cm360_raw_dataflow
|
Para ficheiros DTv2 do CM360 > BigQuery Conjunto de dados não processados |
cm360_cdc_bq
|
Para o conjunto de dados não processados > Transferência do conjunto de dados de CDC |
cm360_reporting_bq
|
Para o conjunto de dados da CDC > conjunto de dados de relatórios transferência |
Autorizações da conta de serviço do Cloud Composer
Conceda autorizações do Dataflow à conta de serviço usada no
Cloud Composer (conforme configurado na associação cm360_raw_dataflow
).
Consulte as instruções na documentação do Dataflow.
Definições de carregamento
Controle os pipelines de dados Source to Raw
e Raw to CDC
através das definições no ficheiro src/CM360/config/ingestion_settings.yaml
. Esta secção descreve os parâmetros de cada pipeline de dados.
Origem para tabelas não processadas
Esta secção descreve como as entradas que controlam que ficheiros do DTv2 são processados. Cada entrada corresponde a ficheiros associados a uma entidade. Com base nesta configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados dos ficheiros DTv2.
Os seguintes parâmetros controlam as definições de Source to Raw
para cada entrada:
Parâmetro | Descrição |
base_table
|
Tabela no conjunto de dados não processados onde os dados de uma entidade são armazenados (por exemplo, dados de "Cliques"). |
load_frequency
|
A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow. |
file_pattern
|
Com base em padrões de nomes de ficheiros que correspondem a uma entidade. |
schema_file
|
Ficheiro de esquema no diretório src/table_schema
que mapeia os campos da DTv2 para os nomes das colunas e os tipos de dados da tabela de destino.
|
partition_details
|
Opcional: se quiser que esta tabela seja particionada por motivos de desempenho. Para mais informações, consulte o artigo Partição de tabelas. |
cluster_details
|
Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster. |
Tabelas de dados não processados para tabelas do CDC
Esta secção tem entradas que controlam a forma como os dados são movidos das tabelas não processadas para as tabelas de CDC. Cada entrada corresponde a uma tabela não processada (que, por sua vez, corresponde à entidade DTv2, conforme mencionado acima).
Os seguintes parâmetros controlam as definições de Raw to CDC
para cada entrada:
Parâmetro | Descrição |
base_table
|
Tabela no conjunto de dados de CDC onde os dados não processados
após a transformação de CDC são armazenados (por exemplo, customer ).
|
load_frequency
|
A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow. |
row_identifiers
|
Lista de colunas (separadas por vírgulas) que formam um registo único para esta tabela. |
partition_details
|
Opcional: se quiser que esta tabela seja particionada para ter em conta o desempenho. Para mais informações, consulte o artigo Partição de tabelas. |
cluster_details
|
Opcional: se quiser que esta tabela seja agrupada para considerações de desempenho. Para mais informações, consulte o artigo Definições de cluster. |
Definições de relatórios
Pode configurar e controlar a forma como a Cortex Framework gera dados
para a camada de relatórios final do CM360 através do ficheiro de definições de relatórios (src/CM360/config/reporting_settings.yaml
).
Este ficheiro controla a forma como os objetos do BigQuery da camada de relatórios
(tabelas, vistas, funções ou procedimentos armazenados) são gerados.
Para mais informações, consulte o artigo Personalizar o ficheiro de definições de relatórios.
O que se segue?
- Para mais informações sobre outras origens de dados e cargas de trabalho, consulte o artigo Origens de dados e cargas de trabalho.
- Para mais informações sobre os passos de implementação em ambientes de produção, consulte os Pré-requisitos de implementação da base de dados do Cortex Framework.