Caricare i dati del proprietario dei contenuti di YouTube in BigQuery

Puoi caricare i dati del proprietario dei contenuti di YouTube in BigQuery utilizzando il connettore BigQuery Data Transfer Service per il proprietario dei contenuti di YouTube. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti del proprietario dei contenuti di YouTube a BigQuery.

Report supportati

• Report sui proprietari dei contenuti
• Report gestiti dal sistema
  • Panoramica
  • Report
  • Campi

BigQuery Data Transfer Service per i report dei proprietari dei contenuti di YouTube supporta le seguenti opzioni di reporting:

Per informazioni su come i report dei proprietari dei contenuti di YouTube vengono trasformati in tabelle e viste BigQuery, consulta Trasformazioni dei report dei proprietari dei contenuti di YouTube.

Importazione dei dati dai trasferimenti dei proprietari dei contenuti di YouTube

Aggiorna finestre

Una finestra di aggiornamento è il numero di giorni in cui un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni<0xx0A>e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. I backfill attivati automaticamente sovrascriveranno o aggiorneranno in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima volta, il trasferimento di dati recupera tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo API TransferConfig.data_refresh_window_days.

Per recuperare dati al di fuori della finestra di aggiornamento, ad esempio dati storici, o per recuperare dati da eventuali interruzioni o lacune nel trasferimento, puoi avviare o pianificare un backfill.

Limitazioni

• La dimensione massima supportata per ciascun report è 1710 GB.
• La frequenza minima per cui puoi pianificare un trasferimento dei dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento dei dati inizia nel momento in cui lo crei. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando lo configuri.
• BigQuery Data Transfer Service non supporta i trasferimenti incrementali di dati durante un trasferimento di proprietario dei contenuti di YouTube. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.

Prima di iniziare

Prima di creare un trasferimento di dati del proprietario dei contenuti di YouTube:

• Verifica di aver completato tutte le azioni necessarie per attivare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di YouTube.
• Verifica di avere un account proprietario dei contenuti YouTube. Un proprietario dei contenuti di YouTube non è la stessa cosa di un canale YouTube. In genere, hai un account proprietario dei contenuti di YouTube solo se gestisci molti canali diversi.
• Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche email. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

Assicurati che la persona che crea il trasferimento dei dati disponga delle seguenti autorizzazioni obbligatorie:

• BigQuery:

  • Autorizzazioni bigquery.transfers.update per creare il trasferimento di dati
  • Autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

  Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per saperne di più sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

• YouTube:

  • YouTube Content Manager o proprietario dei contenuti di YouTube.

  A un Content Manager vengono concessi i diritti di amministrazione dei contenuti di YouTube per conto di un proprietario dei contenuti. Un proprietario dei contenuti è un account cumulativo che possiede uno o più canali YouTube e i video pubblicati su quei canali.

  • Hide revenue data non è selezionato nelle impostazioni del report del proprietario dei contenuti YouTube.

  Affinché i report correlati alle entrate vengano trasferiti, l'impostazione dell'autorizzazione per i report di YouTube Hide revenue data deve essere deselezionata per l'utente che crea il trasferimento.

  

Configurare un trasferimento del proprietario dei contenuti di YouTube

La configurazione di un trasferimento dei dati del proprietario dei contenuti di YouTube richiede:

• ID proprietario dei contenuti: fornito da YouTube. Quando accedi a YouTube come proprietario o gestore dei contenuti, il tuo ID viene visualizzato nell'URL dopo o=. Ad esempio, se l'URL è https://studio.youtube.com/owner/AbCDE_8FghIjK?o=AbCDE_8FghIjK, l'ID proprietario dei contenuti è AbCDE_8FghIjK. Per selezionare un altro account Content Manager, consulta Accedere a un account Content Manager o Cambia canale YouTube. Per maggiori informazioni sulla creazione e sulla gestione dell'account Content Manager, consulta Configurare le impostazioni dell'account Content Manager.
• Suffisso tabella: un nome intuitivo per il canale fornito da te al momento della configurazione del trasferimento. Il suffisso viene aggiunto all'ID job per creare il nome della tabella, ad esempio reportTypeId_suffix. Il suffisso viene utilizzato per impedire che trasferimenti di dati separati scrivano nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano dati nello stesso set di dati e deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Se utilizzi l'API YouTube Reporting e hai job di reporting esistenti, BigQuery Data Transfer Service carica i dati dei report. Se non hai job di generazione di report esistenti, la configurazione del trasferimento dei dati attiva automaticamente i job di generazione di report di YouTube.

Per configurare un trasferimento dei dati del proprietario dei contenuti di YouTube:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

Eseguire query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, vedi Tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per maggiori informazioni, consulta la pagina Esecuzione di query sulle tabelle partizionate.

Risolvere i problemi di configurazione del trasferimento del proprietario dei contenuti YouTube

Se riscontri problemi durante la configurazione del trasferimento dei dati, consulta la sezione Problemi di trasferimento di YouTube in Risoluzione dei problemi relativi alle configurazioni di trasferimento.