Integração com o YouTube (DV360)

Esta página descreve as configurações necessárias para importar dados do YouTube com o Display & Video 360 (DV360) como origem de dados da carga de trabalho de marketing da base de dados do Cortex Framework.

O DV360 é uma plataforma de publicidade da Google para gerir a publicidade do YouTube juntamente com outros canais digitais, oferecendo aos anunciantes maior controlo e eficiência nos respetivos esforços de marketing.

O diagrama seguinte descreve como os dados do DV360 estão disponíveis através da carga de trabalho de marketing da base de dados do Cortex Framework:

Origem de dados do DV360

Figura 1. Origem de dados do DV360.

Ficheiro de configuração

O ficheiro config.json configura as definições necessárias para estabelecer ligação a origens de dados para transferir dados de várias cargas de trabalho. Este ficheiro contém os seguintes parâmetros para o DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

A tabela seguinte descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor predefinido Descrição
marketing.deployDV360 Implemente o DV360 true Execute a implementação para a origem de dados do DV360.
marketing.DV360.deployCDC Implemente scripts de CDC para o DV360 true Gere scripts de processamento de CDC do DV360 para executar como DAGs no Cloud Composer.
marketing.DV360.datasets.cdc Conjunto de dados de CDC para o DV360 - Conjunto de dados da CDC para o DV360.
marketing.DV360.datasets.raw Conjunto de dados não processados para o DV360 - Conjunto de dados não processados para o DV360.
marketing.DV360.datasets.reporting Conjunto de dados de relatórios para o DV360 REPORTING_DV360 Conjunto de dados de relatórios para o DV360.

Modelo de dados

Esta secção descreve o modelo de dados do YouTube (com o DV360) através do diagrama de relação entre entidades (ERD).

Diagrama de relação entre entidades para o DV360

Figura 2. YouTube (com o DV360): diagrama de relação entre entidades.

Visualizações de propriedade de relatórios

Os objetos azuis no DER representam vistas de relatórios que contêm métricas agregadas. Veja guiões em src/marketing/src/DV360/src/reporting/ddls.

Configure a extração de dados não processados do DV360

O Cortex Framework integra-se com o DV360 através da respetiva funcionalidade de relatórios instantâneos. Relatórios instantâneos é uma funcionalidade fiável e de baixo custo do DV360 que permite guardar, agendar e transferir relatórios maiores e mais complexos para ficheiros e diferentes localizações. Cada relatório cria periodicamente tabelas de dados de exportação no BigQuery com o mesmo prefixo do nome da tabela configurado, que contém dados para o intervalo de datas selecionado, na frequência selecionada.

Autorizações

Para exportar com êxito dados não processados do DV360 através de relatórios instantâneos, são necessárias pessoas com as seguintes autorizações:

  • DV360:
  • Google Cloud:
    • BigQuery User atribuída à conta de serviço do DV360.
    • BigQuery Data Editor atribuída à conta de serviço do DV360.

Configurar

Siga estes passos para configurar a exportação de tabelas não processadas a partir do DV360.

  1. Identifique a conta de serviço exigida pelo exportador do BigQuery do DV360 consultando a secção de detalhes de autorização "Associar conta do exportador do BigQuery". Consulte a Figura 2 para mais referências. Identifique a conta de serviço exigida pelo DV360
    Figura 2. Identificar a conta de serviço em Associe a conta do BigQuery Exporter
  2. Obtenha Google Cloud autorizações. Uma pessoa com a função BigQuery Administrator tem de conceder as funções BigQuery User e BigQuery Data Editor à conta de serviço do DV360 identificada no passo anterior.
  3. Associe o BigQuery ao DV360, especificando o conjunto de dados não processados que quer usar no processo. Siga as instruções na secção Relatórios offline > Ativar o BigQuery.
  4. Aceda a Relatórios instantâneos e crie um relatório para cada linha na tabela seguinte, com as colunas exatamente como mostrado. Para mais informações acerca das definições detalhadas do esquema de colunas dos ficheiros em src/DV360/config/table_schema, consulte a secção Esquema da tabela de dados não processados para CDC.

    1. Adicione, pelo menos, um filtro de Parceiro ou Anunciante. Certifique-se de que isto está alinhado com as autorizações da sua associação do BigQuery no passo 3.
    1. Selecione Fuso horário do anunciante como a definição de fuso horário do relatório. Para mais informações, consulte a secção Considerações adicionais abaixo.
    Prefixo da tabela Campos a incluir
    lineitem_details
    • Data
    • ID do elemento publicitário
    • Elemento publicitário
    • ID da campanha
    • Campanha
    • Tipo de elemento publicitário
    • Data de início do elemento publicitário
    • Data de fim do elemento publicitário
    • Impressões
    lineitem_insights
    • Data
    • ID do elemento publicitário
    • Tipo de dispositivo
    • Navegador
    • Ambiente
    • País
    • ID do parceiro
    • Parceiro
    • Moeda do parceiro
    • ID do anunciante
    • Anunciante
    • Moeda do anunciante
    • ID da campanha
    • Campanha
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Tipo de elemento publicitário
    • Data de início do elemento publicitário
    • Data de fim do elemento publicitário
    • Impressões
    • Cliques
    • Receita (USD)
    • Interações
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    adgroup_insights_by_age_gender
    • Data
    • YouTube: ID do grupo de anúncios
    • Idade (YouTube)
    • Sexo
    • ID do elemento publicitário
    • ID do parceiro
    • Parceiro
    • Moeda do parceiro
    • AdvertiserID
    • Anunciante
    • Moeda do anunciante
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Grupo de anúncios do YouTube
    • Receita (USD)
    • Impressões
    • Cliques
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    adgroup_insights_by_audience
    • Data
    • YouTube: ID do grupo de anúncios
    • Segmento de público-alvo
    • Tipo de segmento de público-alvo
    • ID do elemento publicitário
    • ID do parceiro
    • Parceiro
    • PartnerCurrency
    • ID do anunciante
    • Anunciante
    • Moeda do anunciante
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Impressões
    • Cliques
    • YouTube: grupo de anúncios
    • Receita (USD)
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    adgroup_insights_by_adformat
    • Data
    • YouTube: ID do grupo de anúncios
    • Formato de anúncio do YouTube
    • ID do elemento publicitário
    • ID do parceiro
    • Parceiro
    • Moeda do parceiro
    • ID do anunciante
    • Anunciante
    • Moeda do anunciante
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Impressões
    • Cliques
    • Grupo de anúncios do YouTube
    • Receita (USD)
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    adgroup_insights_by_placement
    • Data
    • YouTube: ID do grupo de anúncios
    • Posicionamento (todos os canais do YouTube)
    • Nome do posicionamento (todos os canais do YouTube)
    • ID do elemento publicitário
    • PartnerID
    • Parceiro
    • Moeda do parceiro
    • ID do anunciante
    • Anunciante
    • Moeda do anunciante
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Impressões
    • YouTube: grupo de anúncios
    • Receita (USD)
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    adgroup_insights_by_adtype
    • Data
    • YouTube: ID do grupo de anúncios
    • Tipo de anúncio do YouTube
    • ID do elemento publicitário
    • ID do parceiro
    • Parceiro
    • Moeda do parceiro
    • ID do anunciante
    • Anunciante
    • Moeda do anunciante
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • Impressões
    • Cliques
    • Grupo de anúncios do YouTube
    • Receita (USD)
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
    ad_insights
    • Data
    • ID do anúncio do YouTube
    • ID do elemento publicitário
    • ID do parceiro
    • Parceiro
    • Moeda do parceiro
    • ID do anunciante
    • Anunciante
    • AdvertiserCurrency
    • ID da ordem de inserção
    • Ordem de inserção
    • Elemento publicitário
    • YouTube: ID do grupo de anúncios
    • Grupo de anúncios do YouTube
    • Anúncio do YouTube
    • Impressões
    • Cliques
    • Receita (USD)
    • Interações (YouTube)
    • Receita (moeda do parceiro)
    • Receita (moeda do anunciante)
    • TrueView: visualizações
  5. Configure a programação e preencha os dados do histórico. Certifique-se de que usa a mesma associação do BigQuery configurada no passo 1, bem como o prefixo da tabela exatamente como mostrado na tabela anterior. Para mais informações, consulte a secção seguinte Considerações adicionais.

    • Acione manualmente uma execução de preenchimento ou aguarde que a exportação agendada seja iniciada. De qualquer forma, os seus dados são automaticamente colocados no conjunto de dados não processados configurado para a associação ao BigQuery.

Considerações adicionais

Relativamente à seleção do fuso horário:

  • Para alguns tipos de relatórios, tem a opção de escolher o fuso horário do anunciante ou o fuso horário UTC para as datas no momento da configuração da exportação. No entanto, os relatórios relacionados com o YouTube só suportam o fuso horário do anunciante. Por conseguinte, certifique-se de que seleciona a definição de fuso horário do anunciante quando configurar as exportações.

  • Como a exportação de relatórios é pré-agregada ao nível diário, o framework Cortex usa a data fornecida diretamente sem conversões de fuso horário. É responsável por interpretar as informações do fuso horário comunicadas.

Relativamente ao agendamento e ao preenchimento de dados históricos:

  • Recomendamos que selecione últimos 7 dias como o intervalo de datas de exportação e Diariamente como a frequência de exportação. A seleção de um intervalo de datas de exportação e uma frequência de exportação é necessária para encontrar um equilíbrio entre a precisão dos dados e o custo de armazenamento, embora qualquer definição funcione com o nosso processo de CDC.

  • Os relatórios instantâneos suportam a exportação de até 14 dias de dados quando exportados para o BigQuery, embora o DV360 possa ocasionalmente fazer atualizações menores aos dados até 31 dias após a data do relatório. Se configurar a exportação para vários anunciantes, a data de cada anunciante vai estar nos respetivos fusos horários.

  • Se forem necessários dados do histórico, como dados únicos não agendados, os relatórios instantâneos permitem a exportação de dados de até 2 anos diretamente para tabelas do BigQuery. Certifique-se de que o faz, pelo menos, uma vez, manualmente na IU do DV360.

Atualidade e atraso dos dados

Regra geral, a atualização dos dados das origens de dados do Cortex Framework é limitada pelo que a ligação a montante permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência a montante, as restrições de recursos e as necessidades da sua empresa.

Com os relatórios instantâneos do DV360, a atualidade dos dados depende da definição de frequência de exportação quando o BigQuery Export está configurado, que pode ser diária, semanal ou mensal.

Configurações

Esta secção descreve as configurações do processo de dados.

Ligações do Cloud Composer

Crie as seguintes associações no Cloud Composer. Veja mais detalhes na documentação do Cloud Composer.

Nome da associação Purpose
dv360_cdc_bq Para o conjunto de dados não processados > transferência do conjunto de dados da CDC.
dv360_reporting_bq Para o conjunto de dados da CDC > conjunto de dados de relatórios transferência.

Esquema da tabela de dados não processados para CDC

O diretório src/DV360/config/table_schema contém um ficheiro de esquema por conjunto de tabelas (identificado pelo mesmo prefixo), que é exportado do DV360. Cada ficheiro de esquema contém duas colunas: ColumnName e ColumnDataType.

Definições de carregamento

O ficheiro src/DV360/config/ingestion_settings.yaml contém mais definições que controlam os pipelines de dados Origem para CDC.

Origem das tabelas dos CDC

Esta secção tem entradas que controlam como as tabelas exportadas do DV360 são carregadas e o comportamento relevante do processo de CDC. Cada entrada corresponde a um relatório de relatórios instantâneos, identificado pelo prefixo de exportação.

Os seguintes parâmetros controlam as definições de Source to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC onde os dados não processados após a transformação de CDC são armazenados (por exemplo, customer).
load_frequency A frequência com que um DAG para esta entidade é executado para preencher a tabela de CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
raw_table_prefix Prefixo usado pelo relatório de relatórios instantâneos correspondente para configurar esta exportação do BigQuery.
row_identifiers Colunas (separadas por vírgulas) que formam um registo único para esta tabela.
partition_details Opcional: se quiser que esta tabela seja particionada por motivos de desempenho. Para mais informações, consulte o artigo Partição de tabelas.
cluster_details Opcional: se quiser que esta tabela seja agrupada para ter em conta o desempenho, consulte mais informações em Definições de cluster.

Definições de relatórios

Pode configurar e controlar a forma como o Cortex Framework gera dados para a camada de relatórios finais do DV360 através do ficheiro de definições de relatórios src/DV360/config/reporting_settings.yaml. Este ficheiro controla a forma como os objetos do BigQuery da camada de relatórios (tabelas, vistas,funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte o artigo Personalizar o ficheiro de definições de relatórios.

O que se segue?