Cargar datos de Display & Video 360 en BigQuery

Puede cargar datos de Display & Video 360 en BigQuery mediante el conector BigQuery Data Transfer Service para Display & Video 360. Con BigQuery Data Transfer Service, puede programar tareas de transferencia periódicas que añadan los datos más recientes de Display & Video 360 a BigQuery.

Descripción general de los conectores

BigQuery Data Transfer Service para el conector de Display & Video 360 admite las siguientes opciones para la transferencia de datos.

Opciones de transferencia de datos Asistencia
Informes admitidos El conector de Display & Video 360 admite la transferencia de datos de los informes de Data Transfer v2 (Display & Video DTv2).

Para obtener información sobre cómo se transforman los informes de Display & Video 360 en tablas y vistas de BigQuery, consulte el artículo Transformación de informes de Display & Video 360.
Frecuencia de repetición El conector de Display & Video 360 admite transferencias de datos diarias.

De forma predeterminada, las transferencias de datos se programan en el momento en que se crean. Puedes configurar la hora de la transferencia de datos cuando configures la transferencia de datos.
Ventana de actualización El conector de Display & Video 360 obtiene datos de Display & Video 360 de hasta 2 días en el momento en que se ejecuta la transferencia de datos.

Para obtener más información, consulta Actualizar ventanas.
Disponibilidad de los datos de reposición Ejecuta un rellenado automático de datos para recuperar datos que no estén incluidos en la transferencia de datos programada. Puedes recuperar datos de hace tanto tiempo como permita la política de conservación de datos de tu fuente de datos.

Para obtener información sobre la política de conservación de datos de Display & Video 360, consulte el artículo Actualización y disponibilidad de los datos de los informes.

Datos de configuración admitidos

Además de los datos de informes, BigQuery Data Transfer Service también transfiere los siguientes datos de configuración de Display & Video 360. Los datos de configuración se obtienen de la API de Display & Video 360 v3.

Para obtener más información sobre cada tipo de datos de configuración, consulta los siguientes enlaces:

Ingestión de datos de transferencias de Display & Video 360

Cuando transfieres datos de Display & Video 360 a BigQuery, estos se cargan en tablas de BigQuery que están particionadas por fecha. La partición de la tabla en la que se cargan los datos corresponde a la fecha de la fuente de datos. Si programa varias transferencias para la misma fecha, BigQuery Data Transfer Service sobrescribirá la partición de esa fecha con los datos más recientes. Si se realizan varias transferencias el mismo día o se ejecutan rellenados, no se duplicarán los datos y no se verán afectadas las particiones de otras fechas.

Actualizar ventanas

Una ventana de actualización es el número de días durante los que una transferencia de datos recupera datos cuando se produce una transferencia de datos. Por ejemplo, si la ventana de actualización es de tres días y se produce una transferencia diaria, BigQuery Data Transfer Service recupera todos los datos de la tabla de origen de los últimos tres días. En este ejemplo, cuando se produce una transferencia diaria, BigQuery Data Transfer Service crea una partición de tabla de destino de BigQuery con una copia de los datos de la tabla de origen del día actual y, a continuación, activa automáticamente ejecuciones de relleno para actualizar las particiones de tabla de destino de BigQuery con los datos de la tabla de origen de los dos días anteriores. Las ejecuciones de relleno automático sobrescribirán o actualizarán de forma incremental tu tabla de destino de BigQuery, en función de si el conector de BigQuery Data Transfer Service admite o no las actualizaciones incrementales.

Cuando ejecutas una transferencia de datos por primera vez, esta recupera todos los datos de origen disponibles en la ventana de actualización. Por ejemplo, si la ventana de actualización es de tres días y ejecutas la transferencia de datos por primera vez, BigQuery Data Transfer Service recuperará todos los datos de origen en un plazo de tres días.

Los periodos de actualización se asignan al campo de la API TransferConfig.data_refresh_window_days.

Para recuperar datos que no estén dentro del periodo de actualización (por ejemplo, datos históricos) o para recuperar datos de interrupciones o brechas en la transferencia, puedes iniciar o programar una reposición.

Antes de empezar

Consulte los siguientes requisitos previos e información antes de crear una transferencia de datos de Display & Video 360.

Requisitos previos

  • Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
  • Crea un conjunto de datos de BigQuery para almacenar datos de Display & Video 360.
  • Asegúrese de tener su ID de partner o su ID de anunciante de Display & Video 360. El ID de partner es el elemento principal de la jerarquía.
  • Asegúrate de tener permisos de lectura para acceder a los datos de partners o anunciantes desde la API Display & Video.

  • Asegúrese de que su organización tenga acceso a los archivos de Transferencia de Datos de Display & Video 360 (DTv2). El equipo de Display & Video 360 proporciona estos archivos en un segmento de Cloud Storage. El acceso a los archivos de DTv2 de Display & Video 360 depende de si tiene o no un contrato directo con Display & Video 360. En ambos casos, es posible que se apliquen cargos adicionales.

    • Si tiene un contrato con Display & Video 360, póngase en contacto con el equipo de Asistencia de Display & Video 360 para configurar los archivos DTV2 de Display & Video 360.
    • Si no tiene un contrato con Display & Video 360, póngase en contacto con su agencia para obtener acceso a los archivos de DTv2 de Display & Video 360.
    • Una vez que haya completado este paso, recibirá uno de los siguientes nombres de contenedor de Cloud Storage, en función de si la configuración es para un partner o un anunciante:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • Para configurar las notificaciones de Pub/Sub sobre las transferencias, debe tener permisos pubsub.topics.setIamPolicy. Para obtener más información, consulta el artículo Notificaciones de ejecución de BigQuery Data Transfer Service.

Encontrar su ID de Display & Video 360

Para obtener su ID de Display & Video 360, vaya a la página Contenedores de Cloud Storage en la Google Cloud consola y examine los archivos de su contenedor de Cloud Storage de transferencia de datos de Display & Video 360. El ID de Display & Video 360 se usa para asociar archivos en el segmento de Cloud Storage proporcionado. El ID está insertado en el nombre del archivo, no en el nombre del segmento de Cloud Storage. Por ejemplo:

  • En un archivo llamado dbm_partner123_activity_*, el ID es 123.
  • En un archivo llamado dbm_advertiser567_activity_*, el ID es 567.

Buscar el prefijo del nombre de archivo

En algunos casos, los archivos de su segmento de Cloud Storage pueden tener nombres de archivo personalizados y no estándar que haya configurado el equipo de servicios de Google Marketing Platform. Por ejemplo:

En un archivo llamado dbm_partner123456custom_activity_*, el prefijo es dbm_partner123456custom.

Si necesita ayuda con los prefijos de nombre de archivo, póngase en contacto con el equipo de Asistencia de Display & Video 360.

Configurar una transferencia de datos de Display & Video 360

Selecciona una de las opciones siguientes:

Consola

  1. Ve a la página Transferencias de datos de la Google Cloud consola.

    Ir a Transferencias de datos

  2. Haz clic en Crear transferencia.

  3. En la página Crear transferencia, haz lo siguiente:

    • En la sección Tipo de fuente, en Fuente, elija Display & Video 360.
    • En la sección Nombre de la configuración de transferencia, en Nombre visible, indica un nombre para la transferencia de datos. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.

  4. En la sección Opciones de programación:

    • Selecciona Empezar ahora o Empezar a una hora determinada y, a continuación, indica la fecha de inicio y la duración.
    • En Se repite, elige una opción para determinar la frecuencia con la que se realizará la transferencia de datos. Si seleccionas Días, indica una hora válida en UTC.

  5. En la sección Configuración de destino, en el menú Conjunto de datos de destino, selecciona el conjunto de datos que has creado para almacenar tus datos.

  6. En la sección Detalles de la fuente de datos:

    • En el campo Segmento de Cloud Storage de DTV2 de DV360, introduzca el segmento de Cloud Storage que contiene los archivos DTV2 de Display & Video 360. Si necesita configurar este contenedor, póngase en contacto con el equipo de Asistencia de Display & Video 360.
    • En el campo ID de partner o anunciante de DV360, introduzca el ID de partner o el ID de anunciante.
    • Opcional: En la sección Opciones de notificación, haz lo siguiente:
      • Haz clic en el interruptor para habilitar las notificaciones por correo electrónico. Si habilitas esta opción, el administrador de las transferencias recibirá una notificación por correo cuando falle una ejecución de transferencia.
      • Haz clic en el interruptor para habilitar las notificaciones de Pub/Sub. En Seleccionar un tema de Cloud Pub/Sub, elige el nombre del tema o haz clic en Crear un tema. Esta opción configura las notificaciones de Pub/Sub sobre la transferencia.

  7. Haz clic en Guardar.

bq

Introduce el comando bq mk y proporciona la marca de creación de transferencia — --transfer_config. Se necesitan las siguientes marcas:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Donde:

  • PROJECT_ID: tu ID de proyecto.
  • DATASET: el conjunto de datos de destino de la configuración de transferencia de datos.
  • NAME: el nombre visible de la configuración de transferencia de datos. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.
  • PARAMETERS: los parámetros de la configuración de transferencia de datos creada en formato JSON. Por ejemplo, --params='{"param":"param_value"}'. En el caso de las transferencias de Display & Video 360, se requieren los parámetros bucket y displayvideo_id. El parámetro file_name_prefix es opcional y solo se usa para nombres de archivo personalizados poco habituales.
  • DATA_SOURCE: la fuente de datos displayvideo.

Por ejemplo, el siguiente comando crea una transferencia de datos de Display & Video 360 llamada My Transfer con el ID de Display & Video 360 123456, el contenedor de Cloud Storage dcdt_-dbm_partner123456 y el conjunto de datos de destino mydataset.

La transferencia de datos se crea en el proyecto predeterminado:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

Después de ejecutar el comando, recibirás un mensaje como el siguiente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Sigue las instrucciones del mensaje y pega el código de autenticación en la línea de comandos.

API

Usa el método projects.locations.transferConfigs.create y proporciona una instancia del recurso TransferConfig.

Consultar tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas con particiones por hora de ingestión. Para obtener más información, consulta el artículo Introducción a las tablas particionadas.

Te recomendamos que consultes las vistas generadas automáticamente en lugar de consultar las tablas directamente. Sin embargo, si quieres consultar tus tablas directamente, debes usar la pseudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, consulta Consultar tablas con particiones.