Caricare i dati di Google Play in BigQuery

Puoi caricare i dati da Google Play a BigQuery utilizzando il connettore BigQuery Data Transfer Service per Google Play. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti di Google Play a BigQuery.

Report supportati

BigQuery Data Transfer Service per Google Play supporta le seguenti opzioni di report mensili:

Report dettagliati

• Recensioni
• Rapporti finanziari

Report aggregati

• Statistiche
• Acquisizione utenti

Per informazioni su come i report di Google Play vengono trasformati in tabelle BigQuery, consulta Trasformazione dei report di Google Play.

Importazione dei dati dai trasferimenti di Google Play

Aggiorna finestre

Una finestra di aggiornamento è il numero di giorni in cui un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni<0xx0A>e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. I backfill attivati automaticamente sovrascriveranno o aggiorneranno in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima volta, il trasferimento di dati recupera tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo API TransferConfig.data_refresh_window_days.

Per recuperare dati al di fuori della finestra di aggiornamento, ad esempio dati storici, o per recuperare dati da eventuali interruzioni o lacune nel trasferimento, puoi avviare o pianificare un backfill.

Limitazioni

• La frequenza minima per cui puoi pianificare un trasferimento dei dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento inizia al momento della creazione del trasferimento. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando lo configuri.
• BigQuery Data Transfer Service non supporta i trasferimenti incrementali di dati durante un trasferimento di Google Play. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.

Prima di iniziare

Prima di creare un trasferimento dei dati di Google Play:

• Verifica di aver completato tutte le azioni necessarie per attivare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di Google Play.
• Trova il bucket Cloud Storage:
  1. Nella console Google Play, fai clic su file_download Scarica i report e seleziona Recensioni, Statistiche o Dati finanziari.
  2. Per copiare l'ID del bucket Cloud Storage, fai clic su content_copy Copia URI Cloud Storage. L'ID del bucket inizia con gs://. Ad esempio, per il report sulle recensioni, il tuo ID è simile al seguente:

     gs://pubsite_prod_rev_01234567890987654321/reviews

  3. Per il trasferimento dei dati di Google Play, devi copiare solo l'ID univoco compreso tra gs:// e /reviews:

     pubsite_prod_rev_01234567890987654321

• Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche email. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

• BigQuery: assicurati che la persona che crea il trasferimento di dati disponga delle seguenti autorizzazioni in BigQuery:

  • Autorizzazioni bigquery.transfers.update per creare il trasferimento di dati
  • Autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

  Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per saperne di più sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

• Google Play: assicurati di disporre delle seguenti autorizzazioni in Google Play:

  • Devi disporre dell'accesso ai report in Google Play Console.

  Il team Google Cloud NON ha la possibilità di generare o concedere l'accesso ai file di Google Play per tuo conto. Consulta Contattare l'assistenza di Google Play per ricevere aiuto per accedere ai file di Google Play.

Configura un trasferimento Google Play

Per configurare un trasferimento di dati da Google Play è necessario:

• Bucket Cloud Storage. I passaggi per individuare il bucket Cloud Storage sono descritti in Prima di iniziare. Il bucket Cloud Storage inizia con pubsite_prod_rev. Ad esempio: pubsite_prod_rev_01234567890987654321.
• Suffisso tabella: un nome intuitivo per tutte le origini dati caricate nello stesso set di dati. Il suffisso viene utilizzato per impedire a trasferimenti separati di scrivere nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano i dati nello stesso set di dati e deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Per configurare un trasferimento dei dati di Google Play:

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source
--service_account_name=service_account_name

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a play transfer config.
public class CreatePlayTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Play Config Name")
            .setDataSourceId("play")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createPlayTransfer(projectId, transferConfig);
  }

  public static void createPlayTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("play transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("play transfer was not created." + ex.toString());
    }
  }
}

Risolvere i problemi di configurazione del trasferimento da Google Play

Se riscontri problemi durante la configurazione del trasferimento dei dati, consulta Risoluzione dei problemi relativi alla configurazione del trasferimento di BigQuery Data Transfer Service.

Eseguire query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per maggiori informazioni, consulta la pagina Esecuzione di query sulle tabelle partizionate.

Prezzi

Per informazioni sui prezzi del trasferimento di dati di Google Play, consulta la pagina Prezzi.

Una volta trasferiti su BigQuery, i dati sono soggetti ai prezzi standard di BigQuery per l'archiviazione e le query.

Passaggi successivi

• Per scoprire come vengono trasferiti i report di Google Play a BigQuery, consulta Trasformazioni dei report di Google Play.
• Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
• Per informazioni sull'utilizzo dei trasferimenti, inclusi i dettagli su una configurazione di trasferimento, l'elenco delle configurazioni di trasferimento e la visualizzazione della cronologia di esecuzione di un trasferimento, consulta Utilizzo dei trasferimenti.