Caricare i dati di Display & Video 360 in BigQuery

Puoi caricare i dati da Display & Video 360 a BigQuery utilizzando il connettore BigQuery Data Transfer Service per Display & Video 360. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti di Display & Video 360 a BigQuery.

Panoramica del connettore

BigQuery Data Transfer Service per il connettore Display & Video 360 supporta le seguenti opzioni per il trasferimento dei dati.

Opzioni di trasferimento dei dati Assistenza
Report supportati Il connettore Display & Video 360 supporta il trasferimento dei dati dai report nei file Data Transfer v2 (Display & Video DTv2).

Per informazioni su come i report Display & Video 360 vengono trasformati in tabelle e viste BigQuery, consulta Trasformazione dei report Display & Video 360.
Frequenza di ripetizione Il connettore Display & Video 360 supporta i trasferimenti giornalieri di dati.

Per impostazione predefinita, i trasferimenti di dati vengono pianificati al momento della creazione. Puoi configurare l'ora del trasferimento dei dati quando configuri il trasferimento dei dati.
Finestra di aggiornamento Il connettore Display & Video 360 recupera i dati di Display & Video 360 fino a due giorni prima del momento in cui viene eseguito il trasferimento dei dati.

Per ulteriori informazioni, vedi Finestre di aggiornamento.
Disponibilità dei dati di backfill Esegui un backfill dei dati per recuperare i dati al di fuori del trasferimento di dati pianificato. Puoi recuperare i dati fino a quando lo consente la policy sulla conservazione dei dati dell'origine dati.

Per informazioni sulle norme di conservazione dei dati per Display & Video 360, consulta Aggiornamento e disponibilità dei dati dei report.

Dati di configurazione supportati

Oltre ai dati dei report, BigQuery Data Transfer Service trasferisce anche i seguenti dati di configurazione da Display & Video 360. I dati di configurazione vengono recuperati dall'API Display & Video 360 v3.

Per ulteriori informazioni su ogni tipo di dati di configurazione, consulta i seguenti link:

Importazione dei dati dai trasferimenti di Display & Video 360

Quando trasferisci i dati da Display & Video 360 a BigQuery, i dati vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o l'esecuzione di backfill non comportano la duplicazione dei dati e le partizioni per altre date non vengono interessate.

Aggiorna finestre

Una finestra di aggiornamento è il numero di giorni in cui un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni<0xx0D> e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. I backfill attivati automaticamente sovrascriveranno o aggiorneranno in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima volta, il trasferimento di dati recupera tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo APITransferConfig.data_refresh_window_days.

Per recuperare dati al di fuori della finestra di aggiornamento, ad esempio dati storici, o per recuperare dati da eventuali interruzioni o lacune nel trasferimento, puoi avviare o pianificare un backfill.

Prima di iniziare

Esamina i seguenti prerequisiti e informazioni prima di creare un trasferimento di dati Display & Video 360.

Prerequisiti

  • Verifica di aver completato tutte le azioni necessarie per attivare BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di Display & Video 360.
  • Assicurati di avere l'ID partner o l'ID inserzionista Display & Video 360. L'ID partner è il genitore nella gerarchia.
  • Assicurati di disporre delle autorizzazioni di lettura per accedere ai dati del partner o dell'inserzionista dall'API Display & Video 360.

  • Assicurati che la tua organizzazione abbia accesso ai file Display & Video 360 Data Transfer v2 (Display & Video 360 DTv2). Questi file vengono forniti dal team di Display & Video 360 in un bucket Cloud Storage. La richiesta di accesso ai file DTv2 di Display & Video 360 dipende dal fatto che tu abbia o meno un contratto diretto con Display & Video 360. In entrambi i casi, potrebbero essere applicati costi aggiuntivi.

    • Se hai un contratto con Display & Video 360, contatta l'assistenza di Display & Video 360 per configurare i file DTv2 di Display & Video 360.
    • Se non hai un contratto con Display & Video 360, contatta la tua agenzia per accedere ai file DTv2 di Display & Video 360.
    • Dopo aver completato questo passaggio, riceverai uno dei seguenti nomi di bucket Cloud Storage, a seconda che la configurazione sia per un partner o un inserzionista:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • Per configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Trovare l'ID Display & Video 360

Per recuperare il tuo ID Display & Video 360, vai alla pagina Bucket di Cloud Storage nella console Google Cloud ed esamina i file nel bucket Cloud Storage di trasferimento dei dati di Display & Video 360. L'ID Display & Video 360 viene utilizzato per abbinare i file nel bucket Cloud Storage fornito. L'ID è incorporato nel nome file, non nel nome del bucket Cloud Storage. Ad esempio:

  • In un file denominato dbm_partner123_activity_*, l'ID è 123.
  • In un file denominato dbm_advertiser567_activity_*, l'ID è 567.

Trovare il prefisso del nome file

In alcuni casi, i file nel bucket Cloud Storage potrebbero avere nomi personalizzati e non standard configurati per te dal team dei servizi Google Marketing Platform. Ad esempio:

In un file denominato dbm_partner123456custom_activity_*, il prefisso è dbm_partner123456custom.

Per qualsiasi assistenza relativa ai prefissi dei nomi dei file, contatta l'assistenza di Display & Video 360.

Configura un trasferimento di dati da Display & Video 360

Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Trasferimenti di dati nella console Google Cloud .

    Vai a Trasferimenti dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea repository, segui questi passaggi:

    • Nella sezione Tipo di origine, per Origine, scegli Display & Video 360.
    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

  4. Nella sezione Opzioni di pianificazione:

    • Seleziona Inizia ora o Inizia all'ora impostata, quindi fornisci una data di inizio e un'ora di esecuzione.
    • Per Si ripete, scegli un'opzione per la frequenza con cui eseguire il trasferimento di dati. Se selezioni Giorni, specifica un'ora valida nel fuso orario UTC.

  5. Nella sezione Impostazioni destinazione, nel menu Set di dati di destinazione, seleziona il set di dati che hai creato per archiviare i dati.

  6. Nella sezione Dettagli origine dati:

    • Nel campo Bucket Cloud Storage DTV2 DV360, inserisci il bucket Cloud Storage che contiene i file DTv2 di Display & Video 360. Se devi configurare questo bucket, contatta l'assistenza di Display & Video 360.
    • Nel campo ID partner/inserzionista DV360, inserisci l'ID partner o l'ID inserzionista.
    • (Facoltativo) Nella sezione Opzioni di notifica:
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche Pub/Sub. In Seleziona un argomento Cloud Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura l'esecuzione delle notifiche di Pub/Sub in relazione al trasferimento.

  7. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento: --transfer_config. Sono necessari i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Dove:

  • PROJECT_ID: il tuo ID progetto.
  • DATASET: il set di dati di destinazione per la configurazione del trasferimento di dati.
  • NAME: il nome visualizzato per la configurazione del trasferimento dei dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • PARAMETERS: i parametri per la configurazione del trasferimento dei dati creata in formato JSON. Ad esempio, --params='{"param":"param_value"}' per i trasferimenti da Display & Video 360 sono obbligatori i parametri bucket e displayvideo_id. Il parametro file_name_prefix è facoltativo e viene utilizzato solo per nomi di file personalizzati rari.
  • DATA_SOURCE: l'origine dati displayvideo.

Ad esempio, il seguente comando crea un trasferimento dei dati di Display & Video 360 denominato My Transfer utilizzando l'ID Display & Video 360 123456, il bucket Cloud Storage dcdt_-dbm_partner123456 e il set di dati di destinazione mydataset.

Il trasferimento dei dati viene creato nel progetto predefinito:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

Dopo aver eseguito il comando, ricevi un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Eseguire query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta la sezione Introduzione alle tabelle partizionate.

Ti consigliamo di eseguire query sulle visualizzazioni generate automaticamente anziché sulle tabelle direttamente. Tuttavia, se vuoi eseguire query direttamente sulle tabelle, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per maggiori informazioni, consulta la pagina Esecuzione di query sulle tabelle partizionate.