Cargar datos de canales de YouTube en BigQuery

Puedes cargar datos de un canal de YouTube en BigQuery mediante el conector de BigQuery Data Transfer Service para canales de YouTube. Con BigQuery Data Transfer Service, puedes programar transferencias periódicas para añadir los datos más recientes de tu canal de YouTube a BigQuery.

Descripción general de los conectores

BigQuery Data Transfer Service para el conector de canales de YouTube admite las siguientes opciones para la transferencia de datos.

Ingestión de datos de transferencias de canales de YouTube

Actualizar ventanas

Una ventana de actualización es el número de días durante los que una transferencia de datos recupera datos cuando se produce una transferencia de datos. Por ejemplo, si la ventana de actualización es de tres días y se produce una transferencia diaria, BigQuery Data Transfer Service recupera todos los datos de la tabla de origen de los últimos tres días. En este ejemplo, cuando se produce una transferencia diaria, BigQuery Data Transfer Service crea una partición de tabla de destino de BigQuery con una copia de los datos de la tabla de origen del día actual y, a continuación, activa automáticamente ejecuciones de relleno para actualizar las particiones de tabla de destino de BigQuery con los datos de la tabla de origen de los dos días anteriores. Las ejecuciones de relleno automático sobrescribirán o actualizarán de forma incremental tu tabla de destino de BigQuery, en función de si el conector de BigQuery Data Transfer Service admite o no las actualizaciones incrementales.

Cuando ejecutas una transferencia de datos por primera vez, esta recupera todos los datos de origen disponibles en la ventana de actualización. Por ejemplo, si la ventana de actualización es de tres días y ejecutas la transferencia de datos por primera vez, BigQuery Data Transfer Service recuperará todos los datos de origen en un plazo de tres días.

Los periodos de actualización se asignan al campo de la API TransferConfig.data_refresh_window_days.

Para recuperar datos que no estén dentro del periodo de actualización (por ejemplo, datos históricos) o para recuperar datos de interrupciones o brechas en la transferencia, puedes iniciar o programar una reposición.

Limitaciones

• El tamaño máximo de archivo admitido para cada informe es de 1710 GB.
• La frecuencia mínima con la que puedes programar una transferencia de datos es de una vez cada 24 horas. De forma predeterminada, la transferencia de datos se inicia en el momento en que crea la transferencia. Sin embargo, puedes configurar la hora de inicio de la transferencia de datos cuando configures la transferencia.
• BigQuery Data Transfer Service no admite transferencias de datos incrementales durante una transferencia de propietario del contenido de YouTube. Cuando especifica una fecha para una transferencia de datos, se transfieren todos los datos disponibles para esa fecha.
• No puedes crear una transferencia de datos de un canal de YouTube si has iniciado sesión con una identidad federada. Solo puedes crear una transferencia de canal de YouTube si has iniciado sesión con una cuenta de Google.

Antes de empezar

Antes de crear una transferencia de datos de canal de YouTube, debes hacer lo siguiente:

• Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
• Crea un conjunto de datos de BigQuery para almacenar los datos de YouTube.

Permisos obligatorios

Para crear una transferencia de datos de canal de YouTube, se necesita lo siguiente:

• YouTube: propiedad del canal de YouTube

• BigQuery: los siguientes permisos de gestión de identidades y accesos (IAM) en BigQuery:

  • bigquery.transfers.update para crear la transferencia.
  • bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino.
  • Si quieres configurar notificaciones de ejecuciones de transferencias para Pub/Sub, debes tener permisos de pubsub.topics.setIamPolicy. No se necesitan permisos de Pub/Sub si solo configura notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

El rol de gestión de identidades y accesos predefinido bigquery.admin incluye todos los permisos de BigQuery que necesitas para crear una transferencia de datos de canal de YouTube. Para obtener más información sobre los roles de gestión de identidades y accesos en BigQuery, consulta el artículo sobre roles y permisos predefinidos.

Configurar una transferencia de canal de YouTube

Para configurar una transferencia de datos de un canal de YouTube, necesitas lo siguiente:

• Sufijo de tabla: nombre descriptivo del canal que proporcionas al configurar la transferencia de datos. El sufijo se añade al ID de tarea para crear el nombre de la tabla, por ejemplo, reportTypeId_suffix. El sufijo se usa para evitar que las transferencias independientes escriban en las mismas tablas. El sufijo de la tabla debe ser único en todas las transferencias que carguen datos en el mismo conjunto de datos, y debe ser corto para minimizar la longitud del nombre de la tabla resultante.

Si usas la API YouTube Reporting y tienes tareas de informes, BigQuery Data Transfer Service carga los datos de los informes. Si no tiene ningún trabajo de generación de informes, al configurar la transferencia se habilitarán automáticamente los trabajos de generación de informes de YouTube.

Para crear una transferencia de datos de canal de YouTube, siga estos pasos:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Consultar tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas con particiones por hora de ingestión. Para obtener más información, consulta el artículo Introducción a las tablas particionadas.

Si consultas tus tablas directamente en lugar de usar las vistas generadas automáticamente, debes usar la pseudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, consulta Consultar tablas con particiones.

Solucionar problemas de configuración de transferencias de canales de YouTube

Si tienes problemas para configurar la transferencia de datos, consulta la sección Problemas con la transferencia de YouTube del artículo Solucionar problemas con las configuraciones de transferencia.