Ative o serviço de transferência de dados do BigQuery.

Para usar o serviço de transferência de dados do BigQuery, você precisa seguir estas etapas como Proprietário do projeto:

  • Crie um projeto e ative a API BigQuery.
  • Ative o serviço de transferência de dados do BigQuery.

Para mais informações sobre os papéis do Identity and Access Management (IAM), consulte Noções básicas sobre papéis na documentação do IAM.

Crie um projeto e ative a API BigQuery.

Antes de usar o serviço de transferência de dados do BigQuery, você precisa criar um projeto e, na maioria dos casos, ativar o faturamento. É possível usar um projeto instalado que tenha o serviço de transferência de dados do BigQuery ativado ou criar um projeto. Para usar um projeto instalado, pode ser necessário ativar a API do BigQuery.

Para criar um projeto e ativar a API BigQuery:

  1. In the Google Cloud console, go to the project selector page.

    Go to project selector

  2. Select or create a Google Cloud project.

  3. Ative o faturamento no seu projeto para todas as transferências. Você será cobrado US$ 0 pelas transferências gratuitas.

    A ativação do faturamento só é necessária uma vez por projeto, mesmo que você esteja transferindo dados de várias fontes. O faturamento também precisa estar ativado para consultar os dados no BigQuery depois que os dados são transferidos.

    Saiba como confirmar se o faturamento está ativado no seu projeto.

  4. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto atual, ative a API BigQuery.

    Ativar a API BigQuery

Ative o serviço de transferência de dados do BigQuery.

Antes de criar uma transferência, ative o serviço de transferência de dados do BigQuery. Para isso, é preciso ter o papel Proprietário do projeto.

Para ativar o serviço de transferência de dados do BigQuery:

  1. Abra a página da API BigQuery Data Transfer na biblioteca de APIs.

  2. No menu suspenso, selecione o projeto apropriado.

  3. Clique no botão "ATIVAR".

    Ativar a API Data Transfer

Agente de serviço

O serviço de transferência de dados do BigQuery usa um agente de serviço para acessar e gerenciar os recursos. Isso inclui, sem limitação, os seguintes recursos:

  • Recuperar um token de acesso da conta de serviço a ser usada ao autorizar a transferência de dados.
  • Publicação de notificações no tópico do Pub/Sub fornecido, se ativado.
  • Como iniciar jobs do BigQuery.

Ele será criado automaticamente no seu nome depois que você ativar o serviço de transferência de dados do BigQuery e usar a API pela primeira vez. Após a criação do agente de serviço, o Google concede automaticamente o papel predefinido de agente de serviço.

Autorização de conta de serviço entre projetos

Se você autorizar a transferência de dados usando uma conta de serviço de um projeto diferente do projeto com o serviço de transferência de dados do BigQuery ativado, será necessário conceder o papel roles/iam.serviceAccountTokenCreator ao agente de serviço usando este comando da Google Cloud CLI:

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/iam.serviceAccountTokenCreator

Em que:

  • service_account é a conta de serviço entre projetos usada para autorizar a transferência de dados.
  • project_number é o número do projeto em que o serviço de transferência de dados do BigQuery está ativado.

Para mais informações sobre a configuração de recursos entre projetos, consulte Como configurar um recurso em um projeto diferente na documentação de representação da conta de serviço do Identity and Access Management.

Criação manual do agente de serviço

Se você quiser acionar a criação do agente de serviço antes de interagir com a API, por exemplo, se precisar conceder papéis extras a ele, use uma das seguintes abordagens:

Quando você aciona manualmente a criação do agente de serviço, o Google não concede o papel de agente de serviço predefinido automaticamente. Você precisa conceder manualmente ao agente de serviço o papel predefinido usando o seguinte comando da Google Cloud CLI:

gcloud projects add-iam-policy-binding project_number \
--member serviceAccount:service-project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

Em que:

  • project_number é o número do projeto em que o serviço de transferência de dados do BigQuery está ativado.

Permitir acesso de bigquery.admin

Recomendamos conceder o papel predefinido bigquery.admin do IAM aos usuários que criam transferências do serviço de transferência de dados do BigQuery. O papel bigquery.admin inclui as permissões do IAM necessárias para executar as tarefas mais comuns. O papel bigquery.admin inclui as seguintes permissões do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.update
    • bigquery.jobs.create

Em alguns casos, as permissões necessárias podem diferir entre as fontes de dados. Consulte a seção "Permissões necessárias" em cada guia de transferência da fonte de dados para consultar informações específicas do IAM. Por exemplo, consulte Permissões de transferência do Amazon S3 ou Permissões de transferência do Cloud Storage.

Para conceder o papel bigquery.admin:

Console

  1. Abra a página "IAM" no console do Google Cloud

    Abrir a página do IAM

  2. Clique em Selecione um projeto.

  3. Selecione um projeto e clique em Abrir.

  4. Clique em Adicionar para incluir novos membros no projeto e defina as permissões deles.

  5. Na caixa de diálogo Adicionar membros:

    • Em Membros, insira o endereço de e-mail do usuário ou grupo.
    • Na lista suspensa Selecionar um papel, clique em BigQuery > Administrador do BigQuery.

    • Clique em Adicionar.

      Conceder papel de administrador

gcloud

Use a CLI do Google Cloud para conceder a um usuário ou grupo o papel bigquery.admin.

Para adicionar uma única vinculação à política do IAM do projeto, digite o comando a seguir. Para incluir um usuário, forneça a sinalização --member no formato user:user@example.com. Para incluir um grupo, forneça a sinalização --member no formato group:group@example.com.

gcloud projects add-iam-policy-binding project_id \
--member principal:address \
--role roles/bigquery.admin

Em que:

  • project_id é o ID do projeto;
  • principal é group ou user.
  • address é o endereço de e-mail do usuário ou do grupo.

Exemplo:

gcloud projects add-iam-policy-binding myproject \
--member group:group@example.com \
--role roles/bigquery.admin

A política atualizada é exibida: 

    bindings:
    - members:
      - group:group@example.com
        role: roles/bigquery.admin

Para mais informações sobre os papéis do IAM no BigQuery, consulte Papéis e permissões predefinidos.

A seguir

Depois de ativar o serviço de transferência de dados do BigQuery, crie uma transferência para a fonte de dados.