Trasferimenti dei rapporti di Campaign Manager

Il connettore BigQuery Data Transfer Service per Campaign Manager consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i dati dei report di Campaign Manager.

Report supportati

BigQuery Data Transfer Service per Campaign Manager (in precedenza DoubleClick Campaign Manager) supporta le seguenti opzioni di generazione di report:

• File Data Transfer v2 (Campaign Manager DTv2)
• Tabelle di corrispondenza di Data Transfer v2 (DTv2 di Campaign Manager)

Per informazioni su come i report di Campaign Manager vengono trasformati in tabelle e visualizzazioni BigQuery, consulta Trasformazioni dei report di Campaign Manager.

Importazione dei dati dai trasferimenti di Campaign Manager

Aggiornare le finestre

Una finestra di aggiornamento è il numero di giorni per i quali un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. Le esecuzioni di backfill attivate automaticamente sovrascrivono o aggiornano in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento dati per la prima volta, vengono recuperati tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo dell'API TransferConfig.data_refresh_window_days.

Per recuperare i dati al di fuori della finestra di aggiornamento, ad esempio i dati storici, o per recuperare i dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare una esecuzione di backfill.

Prima di iniziare

Prima di creare un trasferimento di dati di Campaign Manager:

• Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di Campaign Manager.

• Assicurati che la tua organizzazione abbia accesso ai file Campaign Manager Data Transfer v2 (Campaign Manager DTv2). Questi file vengono caricati dal team di Campaign Manager in un bucket Cloud Storage. Per accedere ai file DTv2 di Campaign Manager, il passaggio successivo dipende dal fatto che tu abbia un contratto diretto con Campaign Manager. In entrambi i casi, potrebbero essere applicati dei costi aggiuntivi.

  • Se hai un contratto con Campaign Manager, contatta l'assistenza di Campaign Manager per configurare i file DTv2 di Campaign Manager.
  • Se non hai un contratto con Campaign Manager, la tua agenzia o il tuo rivenditore Campaign Manager potrebbe avere accesso ai file DTv2 di Campaign Manager. Contatta la tua agenzia o il tuo rivenditore per accedere a questi file.

  Dopo aver completato questo passaggio, riceverai un nome del bucket Cloud Storage simile al seguente:

  dcdt_-dcm_account123456

• Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

• BigQuery: assicurati che la persona che crea il trasferimento di dati disponga delle seguenti autorizzazioni in BigQuery:

  • Autorizzazioni bigquery.transfers.update per creare il trasferimento di dati
  • Entrambe le autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

  Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per saperne di più sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

• Campaign Manager: accesso in lettura ai file DTv2 di Campaign Manager memorizzati in Cloud Storage. L'accesso è gestito dall'entità da cui hai ricevuto il bucket Cloud Storage.

Configurare un trasferimento da Campaign Manager

La configurazione di un trasferimento di dati di Campaign Manager richiede:

• Bucket Cloud Storage: l'URI del bucket Cloud Storage per i file DTv2 di Campaign Manager come descritto in Prima di iniziare. Il nome del bucket deve avere il seguente aspetto:

  dcdt_-dcm_account123456

• ID Campaign Manager: l'ID rete, inserzionista o Floodlight di Campaign Manager. L'ID rete è l'elemento principale della gerarchia.

Trovare l'ID Campaign Manager

Per recuperare l'ID di Campaign Manager, puoi utilizzare la console Cloud Storage per esaminare i file nel bucket Cloud Storage di trasferimento dei dati di Campaign Manager. L'ID Campaign Manager viene utilizzato per associare i file nel bucket Cloud Storage fornito. L'ID è incorporato nel nome del file, non nel nome del bucket Cloud Storage.

Ad esempio:

• In un file denominato dcm_account123456_activity_*, l'ID è 123456.
• In un file denominato dcm_floodlight7890_activity_*, l'ID è 7890.
• In un file denominato dcm_advertiser567_activity_*, l'ID è 567.

Trovare il prefisso del nome file

In rari casi, i file nel bucket Cloud Storage potrebbero avere nomi personalizzati e non standard che sono stati configurati per te dal team di servizi di Google Marketing Platform.

Ad esempio:

• In un file denominato dcm_account123456custom_activity_*, il prefisso è dcm_account123456custom, ovvero tutto ciò che precede _activity.

Se hai bisogno di aiuto, contatta l'assistenza di Campaign Manager.

Creare un trasferimento di dati per Campaign Manager

bq mk --transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "dcdt_-dcm_account123456","network_id": "123456","file_name_prefix":"YYY"}' \
--data_source=dcm_dt

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create campaign manager transfer config
public class CreateCampaignmanagerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    // the network_id only allows digits
    String networkId = "7878";
    String fileNamePrefix = "test_";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("network_id", Value.newBuilder().setStringValue(networkId).build());
    params.put("file_name_prefix", Value.newBuilder().setStringValue(fileNamePrefix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Campaignmanager Config Name")
            .setDataSourceId("dcm_dt")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createCampaignmanagerTransfer(projectId, transferConfig);
  }

  public static void createCampaignmanagerTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Campaignmanager transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Campaignmanager transfer was not created." + ex.toString());
    }
  }
}

Risolvere i problemi di configurazione del trasferimento da Campaign Manager

Se hai problemi a configurare il trasferimento dei dati, consulta Problemi di trasferimento di Campaign Manager in Risoluzione dei problemi relativi alle configurazioni di trasferimento.

Esegui query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta Esecuzione di query sulle tabelle partizionate.

Query di esempio di Campaign Manager

Puoi utilizzare le seguenti query di esempio di Campaign Manager per analizzare i dati trasferiti. Puoi anche utilizzare le query in uno strumento di visualizzazione come Looker Studio. Queste query vengono fornite per aiutarti a iniziare a eseguire query sui dati di Campaign Manager con BigQuery. Per ulteriori domande su cosa puoi fare con questi report, contatta il tuo rappresentante tecnico di Campaign Manager.

In ciascuna delle seguenti query, sostituisci le variabili come dataset con i tuoi valori.

Campagne più recenti

La seguente query di esempio SQL recupera le campagne più recenti.

SELECT
  Campaign,
  Campaign_ID
FROM
  `dataset.match_table_campaigns_campaign_manager_id`
WHERE
  _DATA_DATE = _LATEST_DATE

Impressioni e utenti distinti per campagna

La seguente query di esempio SQL analizza il numero di impressioni e di utenti distinti per campagna negli ultimi 30 giorni.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN start_date
    AND end_date
  GROUP BY
    Campaign_ID,
    Date

Campagne più recenti ordinate per campagna e data

La seguente query di esempio SQL analizza le ultime campagne degli ultimi 30 giorno, ordinate per campagna e data.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  Campaign,
  Campaign_ID,
  Date
FROM (
  SELECT
    Campaign,
    Campaign_ID
  FROM
    `dataset.match_table_campaigns_campaign_manager_id`
  WHERE
    _DATA_DATE = _LATEST_DATE ),
  (
  SELECT
    date AS Date
  FROM
    `bigquery-public-data.utility_us.date_greg`
  WHERE
    Date BETWEEN start_date
    AND end_date )
ORDER BY
  Campaign_ID,
  Date

Impressioni e utenti distinti per campagna in un intervallo di date

La seguente query di esempio SQL analizza il numero di impressioni e utenti distinti per campagna tra start_date e end_date.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  imp.count AS imp_count,
  imp.du AS imp_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN start_date
      AND end_date ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN start_date
    AND end_date
  GROUP BY
    Campaign_ID,
    Date ) AS imp
ON
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
WHERE
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
ORDER BY
  base.Campaign_ID,
  base.Date

Impressioni, clic, attività e utenti distinti per campagna

La seguente query di esempio SQL analizza il numero di impressioni, clic, attività e utenti distinti per campagna negli ultimi 30 giorni. In questa query, sostituisci le variabili come campaign_list con i tuoi valori. Ad esempio, sostituisci campaign_list con un elenco di tutte le campagne Campaign Manager di interesse separate da virgola nell'ambito della query.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  imp.count AS imp_count,
  imp.du AS imp_du,
  click.count AS click_count,
  click.du AS click_du,
  activity.count AS activity_count,
  activity.du AS activity_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
      AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS imp
ON
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.click_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS click
ON
  base.Campaign_ID = click.Campaign_ID
  AND base.Date = click.Date
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.activity_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS activity
ON
  base.Campaign_ID = activity.Campaign_ID
  AND base.Date = activity.Date
WHERE
  base.Campaign_ID IN campaign_list
  AND (base.Date = imp.Date
    OR base.Date = click.Date
    OR base.Date = activity.Date)
ORDER BY
  base.Campaign_ID,
  base.Date

Attività della campagna

La seguente query di esempio SQL analizza l'attività della campagna negli ultimi 30 giorni. In questa query, sostituisci le variabili come campaign_list con i tuoi valori. Ad esempio, sostituisci campaign_list con un elenco di tutte le campagne Campaign Manager di interesse separate da virgola nell'ambito della query.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  activity.count AS activity_count,
  activity.du AS activity_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      mt_at.Activity_Group,
      mt_ac.Activity,
      mt_ac.Activity_Type,
      mt_ac.Activity_Sub_Type,
      mt_ac.Activity_ID,
      mt_ac.Activity_Group_ID
    FROM
      `dataset.match_table_activity_cats_campaign_manager_id` AS mt_ac
    JOIN (
      SELECT
        Activity_Group,
        Activity_Group_ID
      FROM
        `dataset.match_table_activity_types_campaign_manager_id`
      WHERE
        _DATA_DATE = _LATEST_DATE ) AS mt_at
    ON
      mt_at.Activity_Group_ID = mt_ac.Activity_Group_ID
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN start_date
      AND end_date ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    Activity_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.activity_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Activity_ID,
    Date ) AS activity
ON
  base.Campaign_ID = activity.Campaign_ID
  AND base.Activity_ID = activity.Activity_ID
  AND base.Date = activity.Date
WHERE
  base.Campaign_ID IN campaign_list
  AND base.Activity_ID = activity.Activity_ID
ORDER BY
  base.Campaign_ID,
  base.Activity_Group_ID,
  base.Activity_ID,
  base.Date