Attivare BigQuery Data Transfer Service

Per utilizzare BigQuery Data Transfer Service, devi completare i seguenti passaggi come proprietario del progetto:

  • Crea un progetto e abilita l'API BigQuery.
  • Attiva BigQuery Data Transfer Service.

Per saperne di più sui ruoli di Identity and Access Management (IAM), consulta Informazioni sui ruoli nella documentazione IAM.

Crea un progetto e abilita l'API BigQuery

Prima di utilizzare BigQuery Data Transfer Service, devi creare un progetto e, nella maggior parte dei casi, attivare la fatturazione in quel progetto. Puoi utilizzare un progetto esistente con BigQuery Data Transfer Service o crearne uno nuovo. Se utilizzi un progetto esistente, potresti anche dover attivare l'API BigQuery.

Per creare un progetto e attivare l'API BigQuery:

  1. In the Google Cloud console, go to the project selector page.

    Go to project selector

  2. Select or create a Google Cloud project.

  3. Abilita la fatturazione per il progetto per tutti i trasferimenti. Non ti viene addebitato alcun costo per i trasferimenti gratuiti.

    L'attivazione della fatturazione è necessaria una sola volta per progetto, anche se trasferisci i dati da più origini. Inoltre, per eseguire query sui dati in BigQuery dopo il trasferimento, è necessario attivare la fatturazione.

    Scopri come verificare che la fatturazione sia attivata nel tuo progetto.

  4. BigQuery viene attivato automaticamente nei nuovi progetti. Per attivare BigQuery in un progetto esistente, abilita l'API BigQuery.

    Abilita l'API BigQuery

Attivare BigQuery Data Transfer Service

Prima di poter creare un trasferimento, devi attivare BigQuery Data Transfer Service. Per attivare BigQuery Data Transfer Service, devi disporre del ruolo Proprietario per il tuo progetto.

Per attivare BigQuery Data Transfer Service:

  1. Apri la pagina dell'API BigQuery Data Transfer nella raccolta di API.

  2. Dal menu a discesa, seleziona il progetto appropriato.

  3. Fai clic sul pulsante ABILITA.

    Attiva l'API Data Transfer

Agente di servizio

BigQuery Data Transfer Service utilizza un agente di servizio per accedere alle tue risorse e gestirle. Sono incluse, a titolo esemplificativo, le seguenti risorse:

  • Recupera un token di accesso da utilizzare per l'account di servizio quando autorizzi il trasferimento di dati.
  • Pubblicazione di notifiche nell'argomento Pub/Sub fornito, se abilitato.
  • Avvio di job BigQuery.

L'agente di servizio viene creato automaticamente per tuo conto dopo aver attivato BigQuery Data Transfer Service e aver utilizzato l'API per la prima volta. Al momento della creazione dell'agente di servizio, Google concede automaticamente il ruolo agente di servizio predefinito.

Autorizzazione dell'account di servizio tra progetti

Se autorizzi il trasferimento dei dati utilizzando un account di servizio di un progetto diverso da quello in cui è attivato BigQuery Data Transfer Service, devi concedere il ruolo roles/iam.serviceAccountTokenCreator all'agente di servizio utilizzando il seguente comando Google Cloud CLI:

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/iam.serviceAccountTokenCreator

Dove:

  • service_account è l'account di servizio tra progetti utilizzato per autorizzare il trasferimento dei dati.
  • project_number è il numero del progetto in cui è abilitato BigQuery Data Transfer Service.

Per ulteriori informazioni sulla configurazione delle risorse tra progetti, consulta Configurazione per una risorsa in un altro progetto nella documentazione sull'usurpazione dell'identità dell'account di servizio Identity and Access Management.

Creazione manuale dell'agente di servizio

Se vuoi attivare la creazione dell'agente di servizio prima di interagire con l'API, ad esempio se devi concedere ruoli aggiuntivi all'agente di servizio, puoi utilizzare uno dei seguenti approcci:

Quando attivi manualmente la creazione dell'agente di servizio, Google non concede automaticamente il ruolo dell'agente di servizio predefinito. Devi concedere manualmente all'agente di servizio il ruolo predefinito utilizzando il seguente comando Google Cloud CLI:

gcloud projects add-iam-policy-binding project_number \
--member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Dove:

  • project_number è il numero del progetto in cui è abilitato BigQuery Data Transfer Service.

Concedi l'accesso a bigquery.admin

Ti consigliamo di concedere il ruolo IAM predefinito bigquery.admin agli utenti che creano trasferimenti di BigQuery Data Transfer Service. Il ruolo bigquery.admin include le autorizzazioni IAM necessarie per eseguire le attività più comuni. Il ruolo bigquery.admin include le seguenti autorizzazioni di BigQuery Data Transfer Service:

  • Autorizzazioni BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorizzazioni BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.update
    • bigquery.jobs.create

In alcuni casi, le autorizzazioni richieste potrebbero variare in base alle diverse sorgenti di dati. Per informazioni specifiche su IAM, consulta la sezione "Autorizzazioni richieste" in ogni guida al trasferimento delle origini dati. Ad esempio, consulta le autorizzazioni di trasferimento di Amazon S3 o le autorizzazioni di trasferimento di Cloud Storage.

Per concedere il ruolo bigquery.admin:

Console

  1. Apri la pagina IAM nella console Google Cloud

    Apri la pagina IAM

  2. Fai clic su Seleziona un progetto.

  3. Seleziona un progetto e fai clic su Apri.

  4. Fai clic su Aggiungi per aggiungere nuovi membri al progetto e impostarne le autorizzazioni.

  5. Nella finestra di dialogo Aggiungi membri:

    • In Membri, inserisci l'indirizzo email dell'utente o del gruppo.
    • Nel menu a discesa Seleziona un ruolo, fai clic su BigQuery > Amministratore BigQuery.

    • Fai clic su Aggiungi.

      Concedi amministratore

gcloud

Puoi utilizzare Google Cloud CLI per concedere a un utente o un gruppo il ruolo bigquery.admin.

Per aggiungere un'associazione singola al criterio IAM del progetto, digita il seguente comando. Per aggiungere un utente, fornisci il flag --member nel formato user:user@example.com. Per aggiungere un gruppo, fornisci il flag --member nel formato group:group@example.com.

gcloud projects add-iam-policy-binding project_id \
--member principal:address \
--role roles/bigquery.admin

Dove:

  • project_id è l'ID progetto.
  • principal è group o user.
  • address è l'indirizzo email dell'utente o del gruppo.

Ad esempio:

gcloud projects add-iam-policy-binding myproject \
--member group:group@example.com \
--role roles/bigquery.admin

Il comando genera l'output del criterio aggiornato: 

    bindings:
    - members:
      - group:group@example.com
        role: roles/bigquery.admin

Per ulteriori informazioni sui ruoli IAM in BigQuery, consulta Ruoli e autorizzazioni predefiniti.

Passaggi successivi

Dopo aver attivato BigQuery Data Transfer Service, crea un trasferimento per l'origine dati.