Cargar datos de propietario del contenido de YouTube en BigQuery

Puede cargar datos de propietario del contenido de YouTube en BigQuery mediante el conector BigQuery Data Transfer Service para propietario del contenido de YouTube. Con BigQuery Data Transfer Service, puede programar tareas de transferencia periódicas que añadan sus datos más recientes de propietario del contenido de YouTube a BigQuery.

Descripción general de los conectores

BigQuery Data Transfer Service para el conector de propietario del contenido de YouTube admite las siguientes opciones para la transferencia de datos.

Ingestión de datos de transferencias de propietarios de contenido de YouTube

Actualizar ventanas

Una ventana de actualización es el número de días durante los que una transferencia de datos recupera datos cuando se produce una transferencia de datos. Por ejemplo, si la ventana de actualización es de tres días y se produce una transferencia diaria, BigQuery Data Transfer Service recupera todos los datos de la tabla de origen de los últimos tres días. En este ejemplo, cuando se produce una transferencia diaria, BigQuery Data Transfer Service crea una partición de tabla de destino de BigQuery con una copia de los datos de la tabla de origen del día actual y, a continuación, activa automáticamente ejecuciones de relleno para actualizar las particiones de tabla de destino de BigQuery con los datos de la tabla de origen de los dos días anteriores. Las ejecuciones de relleno automático sobrescribirán o actualizarán de forma incremental tu tabla de destino de BigQuery, en función de si el conector de BigQuery Data Transfer Service admite o no las actualizaciones incrementales.

Cuando ejecutas una transferencia de datos por primera vez, esta recupera todos los datos de origen disponibles en la ventana de actualización. Por ejemplo, si la ventana de actualización es de tres días y ejecutas la transferencia de datos por primera vez, BigQuery Data Transfer Service recuperará todos los datos de origen en un plazo de tres días.

Los periodos de actualización se asignan al campo de la API TransferConfig.data_refresh_window_days.

Para recuperar datos que no estén dentro del periodo de actualización (por ejemplo, datos históricos) o para recuperar datos de interrupciones o brechas en la transferencia, puedes iniciar o programar una reposición.

Limitaciones

• El tamaño máximo de archivo admitido para cada informe es de 1710 GB.
• La frecuencia mínima con la que puedes programar una transferencia de datos es de una vez cada 24 horas. De forma predeterminada, una transferencia de datos se inicia en el momento en que la crea. Sin embargo, puedes configurar la hora de inicio de la transferencia cuando configures la transferencia.
• BigQuery Data Transfer Service no admite transferencias de datos incrementales durante una transferencia de propietario del contenido de YouTube. Cuando especifica una fecha para una transferencia de datos, se transfieren todos los datos disponibles para esa fecha.

Antes de empezar

Antes de crear una transferencia de datos de propietario del contenido de YouTube, debes hacer lo siguiente:

• Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
• Crea un conjunto de datos de BigQuery para almacenar datos de YouTube.
• Verifica que tienes una cuenta de propietario del contenido de YouTube. Un propietario del contenido de YouTube no es lo mismo que un canal de YouTube. Normalmente, solo tienes una cuenta de propietario del contenido de YouTube si gestionas muchos canales diferentes.
• Si quieres configurar notificaciones de ejecuciones de transferencias para Pub/Sub, debes tener permisos de pubsub.topics.setIamPolicy. No se necesitan permisos de Pub/Sub si solo configura notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

Permisos obligatorios

Asegúrate de que la persona que crea la transferencia de datos tenga los siguientes permisos obligatorios:

• BigQuery

  • Permisos de bigquery.transfers.update para crear la transferencia de datos
  • Permisos bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino

  El rol predefinido de gestión de identidades y accesos bigquery.admin incluye los permisos bigquery.transfers.update, bigquery.datasets.update y bigquery.datasets.get. Para obtener más información sobre los roles de gestión de identidades y accesos en BigQuery Data Transfer Service, consulta Control de acceso.

• YouTube

  • Gestor de contenido de YouTube o propietario de contenido de YouTube.

  Un gestor de contenido tiene derechos para administrar contenido de YouTube en nombre de un propietario del contenido. Un propietario de contenido es una cuenta que engloba uno o varios canales de YouTube en propiedad, así como los vídeos de dichos canales.

  • La opción Hide revenue data no está marcada en la configuración de los informes de propietario del contenido de YouTube.

  Para que se transfieran los informes relacionados con los ingresos, el usuario que cree la transferencia debe desmarcar el ajuste de permiso de informes de YouTube Hide revenue data.

  

Configurar una transferencia de propietario de contenido de YouTube

Para configurar una transferencia de datos de propietario del contenido de YouTube, necesitas lo siguiente:

• ID de propietario del contenido: proporcionado por YouTube. Cuando inicias sesión en YouTube como propietario o administrador de contenido, tu ID aparece en la URL después de o=. Por ejemplo, si la URL es https://studio.youtube.com/owner/AbCDE_8FghIjK?o=AbCDE_8FghIjK, el ID del propietario del contenido es AbCDE_8FghIjK. Para seleccionar otra cuenta de Gestor de contenido, consulta el artículo Iniciar sesión en una cuenta de Gestor de contenido o Cambiar de canal de YouTube. Para obtener más información sobre cómo crear y gestionar tu cuenta del Gestor de contenido, consulta Configurar los ajustes de la cuenta del Gestor de contenido.
• Sufijo de tabla: nombre descriptivo del canal que proporcionas al configurar la transferencia. El sufijo se añade al ID de tarea para crear el nombre de la tabla, por ejemplo, reportTypeId_suffix. El sufijo se usa para evitar que las transferencias de datos independientes escriban en las mismas tablas. El sufijo de la tabla debe ser único en todas las transferencias que carguen datos en el mismo conjunto de datos, y debe ser corto para minimizar la longitud del nombre de la tabla resultante.

Si usas la API YouTube Reporting y tienes tareas de informes, BigQuery Data Transfer Service carga los datos de los informes. Si no tienes ninguna tarea de generación de informes, al configurar la transferencia de datos se habilitarán automáticamente las tareas de generación de informes de YouTube.

Para configurar una transferencia de datos de propietario del contenido de YouTube, sigue estos pasos:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

Consultar tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas con particiones por hora de ingestión. Para obtener más información, consulta el artículo sobre tablas con particiones.

Si consultas tus tablas directamente en lugar de usar las vistas generadas automáticamente, debes usar la pseudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, consulta Consultar tablas con particiones.

Solucionar problemas de configuración de transferencias de propietario de contenido de YouTube

Si tienes problemas para configurar la transferencia de datos, consulta la sección Problemas con la transferencia de YouTube del artículo Solucionar problemas con las configuraciones de transferencia.