Cargar datos de Google Play en BigQuery

Puede cargar datos de Google Play en BigQuery mediante el conector de BigQuery Data Transfer Service para Google Play. Con BigQuery Data Transfer Service, puede programar tareas de transferencia periódicas que añadan sus datos más recientes de Google Play a BigQuery.

Descripción general de los conectores

BigQuery Data Transfer Service para el conector de Google Play admite las siguientes opciones para la transferencia de datos.

Ingestión de datos de transferencias de Google Play

Actualizar ventanas

Una ventana de actualización es el número de días durante los que una transferencia de datos recupera datos cuando se produce una transferencia de datos. Por ejemplo, si la ventana de actualización es de tres días y se produce una transferencia diaria, BigQuery Data Transfer Service recupera todos los datos de la tabla de origen de los últimos tres días. En este ejemplo, cuando se produce una transferencia diaria, BigQuery Data Transfer Service crea una partición de tabla de destino de BigQuery con una copia de los datos de la tabla de origen del día actual y, a continuación, activa automáticamente ejecuciones de relleno para actualizar las particiones de tabla de destino de BigQuery con los datos de la tabla de origen de los dos días anteriores. Las ejecuciones de relleno automático sobrescribirán o actualizarán de forma incremental tu tabla de destino de BigQuery, en función de si el conector de BigQuery Data Transfer Service admite o no las actualizaciones incrementales.

Cuando ejecutas una transferencia de datos por primera vez, esta recupera todos los datos de origen disponibles en la ventana de actualización. Por ejemplo, si la ventana de actualización es de tres días y ejecutas la transferencia de datos por primera vez, BigQuery Data Transfer Service recuperará todos los datos de origen en un plazo de tres días.

Los periodos de actualización se asignan al campo de la API TransferConfig.data_refresh_window_days.

Para recuperar datos que no estén dentro del periodo de actualización (por ejemplo, datos históricos) o para recuperar datos de interrupciones o brechas en la transferencia, puedes iniciar o programar una reposición.

Limitaciones

• La frecuencia mínima con la que puedes programar una transferencia de datos es de una vez cada 24 horas. De forma predeterminada, una transferencia comienza en el momento en que la creas. Sin embargo, puedes configurar la hora de inicio de la transferencia cuando configures la transferencia.
• BigQuery Data Transfer Service no admite transferencias de datos incrementales durante una transferencia de Google Play. Cuando especifica una fecha para una transferencia de datos, se transfieren todos los datos disponibles de esa fecha.

Antes de empezar

Antes de crear una transferencia de datos de Google Play, debes hacer lo siguiente:

• Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
• Crea un conjunto de datos de BigQuery para almacenar los datos de Google Play.
• Busca tu segmento de Cloud Storage:
  1. En Google Play Console, haz clic en file_download Descargar informes y selecciona Reseñas, Estadísticas o Financieros.
  2. Para copiar el ID de tu segmento de Cloud Storage, haz clic en content_copy Copiar URI de Cloud Storage. El ID de tu segmento empieza por gs://. Por ejemplo, en el informe de reseñas, su ID es similar al siguiente:

     gs://pubsite_prod_rev_01234567890987654321/reviews

  3. Para transferir los datos de Google Play, solo tienes que copiar el ID único que se encuentra entre gs:// y /reviews:

     pubsite_prod_rev_01234567890987654321

• Si quieres configurar notificaciones de ejecuciones de transferencias para Pub/Sub, debes tener permisos de pubsub.topics.setIamPolicy. No se necesitan permisos de Pub/Sub si solo configura notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

Permisos obligatorios

• BigQuery asegúrate de que la persona que crea la transferencia de datos tenga los siguientes permisos en BigQuery:

  • Permisos de bigquery.transfers.update para crear la transferencia de datos
  • Permisos bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino

  El rol predefinido de gestión de identidades y accesos bigquery.admin incluye los permisos bigquery.transfers.update, bigquery.datasets.update y bigquery.datasets.get. Para obtener más información sobre los roles de gestión de identidades y accesos en BigQuery Data Transfer Service, consulta Control de acceso.

• Google Play: asegúrate de tener los siguientes permisos en Google Play:

  • Debes tener acceso a los informes en Google Play Console.

  El equipo de Google Cloud NO puede generar ni conceder acceso a archivos de Google Play en tu nombre. Consulta cómo ponerte en contacto con el equipo de Asistencia de Google Play para obtener ayuda con el acceso a los archivos de Google Play.

Configurar una transferencia de Google Play

Para configurar una transferencia de datos de Google Play, necesitas lo siguiente:

• Segmento de Cloud Storage. Los pasos para localizar tu segmento de Cloud Storage se describen en la sección Antes de empezar. Tu segmento de Cloud Storage empieza por pubsite_prod_rev. Por ejemplo: pubsite_prod_rev_01234567890987654321.
• Sufijo de tabla: nombre descriptivo de todas las fuentes de datos que se cargan en el mismo conjunto de datos. El sufijo se usa para evitar que las transferencias independientes escriban en las mismas tablas. El sufijo de la tabla debe ser único en todas las transferencias que carguen datos en el mismo conjunto de datos, y debe ser corto para minimizar la longitud del nombre de la tabla resultante.

Para configurar una transferencia de datos de Google Play, sigue estos pasos:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source
--service_account_name=service_account_name

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a play transfer config.
public class CreatePlayTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Play Config Name")
            .setDataSourceId("play")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createPlayTransfer(projectId, transferConfig);
  }

  public static void createPlayTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("play transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("play transfer was not created." + ex.toString());
    }
  }
}

Solucionar problemas de configuración de transferencias de Google Play

Si tienes problemas para configurar la transferencia de datos, consulta el artículo Solucionar problemas con la configuración de transferencias de BigQuery Data Transfer Service.

Consultar tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas con particiones por hora de ingestión. Para obtener más información, consulta el artículo Introducción a las tablas particionadas.

Si consultas tus tablas directamente en lugar de usar las vistas generadas automáticamente, debes usar la pseudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, consulta Consultar tablas con particiones.

Precios

Para obtener información sobre los precios de la transferencia de datos de Google Play, consulta la página Precios.

Cuando se transfieren los datos a BigQuery, se aplica el precio estándar de este servicio para las consultas y el almacenamiento.

Siguientes pasos

• Para ver cómo se transfieren tus informes de Google Play a BigQuery, consulta Transformaciones de informes de Google Play.
• Para obtener una descripción general de BigQuery Data Transfer Service, consulta el artículo Introducción a BigQuery Data Transfer Service.
• Para obtener información sobre cómo usar las transferencias, como obtener información sobre una configuración de transferencia, enumerar configuraciones de transferencia y ver el historial de ejecuciones de una transferencia, consulta Trabajar con transferencias.