Transferencias de canales de YouTube

El Servicio de transferencia de datos de BigQuery para el conector de YouTube te permite programar y administrar de forma automática los trabajos de carga recurrentes para los informes de canales de YouTube.

Informes compatibles

• Informes de canal (se cargan de forma automática en BigQuery)

El Servicio de transferencia de datos de BigQuery para los informes de canal de YouTube es compatible con las siguientes opciones de informes:

Para obtener información sobre cómo los informes de canales de YouTube se transforman en tablas y vistas de BigQuery, consulta la página sobre las transformaciones de informes de canales de YouTube.

Transferencia de datos desde transferencias de canal de YouTube

Limitaciones

• El tamaño máximo admitido de cada archivo para cada informe es de 1,710 GB.
• La frecuencia mínima que puedes programar para una transferencia de datos es una vez cada 24 horas. De forma predeterminada, una transferencia de datos comienza en el momento en que creas la transferencia. Sin embargo, puedes configurar la hora de inicio cuando configuras la transferencia.
• El Servicio de transferencia de datos de BigQuery no admite transferencias incrementales durante una transferencia de datos de propietario del contenido de YouTube. Cuando especificas una fecha para una transferencia de datos, se transfieren todos los datos disponibles para esa fecha.
• No puedes crear una transferencia de datos de canal de YouTube si accediste como una identidad federada. Solo puedes crear una transferencia de canal de YouTube con una Cuenta de Google.

Antes de comenzar

Antes de crear una transferencia de datos de canal de YouTube, haz lo siguiente:

• Verifica si completaste todas las acciones necesarias para habilitar el Servicio de transferencia de datos de BigQuery
• Crea un conjunto de datos de BigQuery para almacenar los datos de YouTube.

Permisos necesarios

Para crear una transferencia de datos de canal de YouTube se requiere lo siguiente:

• YouTube: Propiedad del canal de YouTube

• BigQuery: Los siguientes permisos de Identity and Access Management (IAM) en BigQuery:

  • bigquery.transfers.update para crear la transferencia
  • bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino
  • Si quieres configurar las notificaciones de ejecución de transferencias para Pub/Sub, debes tener los permisos pubsub.topics.setIamPolicy. Los permisos de Pub/Sub no son necesarios si solo configuras las notificaciones por correo electrónico. Para obtener más información, consulta la sección sobre notificaciones de ejecución del Servicio de transferencia de datos de BigQuery.

El rol de IAM predefinido bigquery.admin incluye todos los permisos de BigQuery que necesitas para crear una transferencia de datos de canal de YouTube. Para obtener más información sobre las funciones de IAM en BigQuery, consulta Funciones y permisos predefinidos.

Configura una transferencia de canal de YouTube

Para configurar una transferencia de datos de canal de YouTube se requiere un:

• Sufijo de tabla: un nombre fácil de usar para el canal que proporcionaste cuando configuraste la transferencia de datos. El sufijo se adjunta al ID de trabajo para crear el nombre de la tabla, por ejemplo reportTypeId_suffix. El sufijo se usa para evitar que las transferencias que se ejecutan por separado escriban en las mismas tablas. El sufijo de la tabla debe ser único en todas las transferencias que carguen datos en el mismo conjunto de datos, y el sufijo debe ser corto para minimizar la longitud del nombre de la tabla resultante.

Si usas la API de informes de YouTube en la actualidad y tienes trabajos de informes existentes, el Servicio de transferencia de datos de BigQuery carga tus datos de informes. Si no tienes trabajos de informes existentes, la configuración de la transferencia habilita de forma automática los trabajos de informes de YouTube.

Para crear una transferencia de datos de canal de YouTube, sigue estos pasos:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Consulta tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas particionadas por tiempo de transferencia. Para obtener más información, consulta Introducción a tablas con particiones.

Si consultas tus tablas directamente en lugar de usar las vistas generadas de manera automática, debes usar la seudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, visita la página Consulta tablas particionadas.

Soluciona problemas de configuración de transferencia de canal de YouTube

Si tienes problemas para configurar tu transferencia de datos, consulta la sección sobre los problemas de transferencias de YouTube en la página sobre cómo solucionar problemas de configuración de transferencias.