Caso de uso: controle de acesso a um cluster do Dataproc em outro projeto

Esta página descreve como gerenciar o controle de acesso ao implantar e executar um pipeline que usa clusters do Dataproc em outro projeto do Google Cloud.

Cenário

Por padrão, quando uma instância do Cloud Data Fusion é iniciada em um projeto do Google Cloud, ela implanta e executa pipelines usando clusters do Dataproc no mesmo projeto. No entanto, sua organização pode exigir que você use clusters em outro projeto. Para esse caso de uso, é necessário gerenciar o acesso entre os projetos. A página a seguir descreve como mudar as configurações de referência (padrão) e aplicar os controles de acesso adequados.

Antes de começar

Para entender as soluções neste caso de uso, você precisa do seguinte contexto:

Premissas e escopo

Esse caso de uso tem os seguintes requisitos:

  • Uma instância particular do Cloud Data Fusion. Por motivos de segurança, uma organização pode exigir que você use esse tipo de instância.
  • Uma origem e um coletor do BigQuery.
  • Controle de acesso com o IAM, não o controle de acesso baseado em papéis (RBAC).

Solução

Essa solução compara a arquitetura e a configuração específicas do caso de uso e da referência.

Arquitetura

Os diagramas a seguir comparam a arquitetura do projeto para criar uma instância do Cloud Data Fusion e executar pipelines quando você usa clusters no mesmo projeto (valor de referência) e em um projeto diferente pela VPC do projeto de locatário.

Arquitetura de referência

Este diagrama mostra a arquitetura de referência dos projetos:

Arquitetura de projeto de locatário, cliente e Dataproc no Cloud Data Fusion.

Para a configuração de referência, crie uma instância particular do Cloud Data Fusion e execute um pipeline sem personalização adicional:

  • Você usa um dos perfis de computação integrados
  • A origem e o coletor estão no mesmo projeto da instância
  • Nenhum outro papel foi concedido a nenhuma das contas de serviço

Para mais informações sobre projetos de locatário e cliente, consulte Redes.

Arquitetura de casos de uso

Este diagrama mostra a arquitetura do projeto quando você usa clusters em outro projeto:

Arquitetura do projeto do locatário, do cliente e do Dataproc no Cloud Data Fusion.

Configurações

As seções a seguir comparam as configurações de referência com o caso de uso configurações específicas para usar clusters do Dataproc em um um projeto diferente usando a VPC padrão do projeto de locatário.

Nas descrições de caso de uso a seguir, o projeto do cliente é onde os A instância do Cloud Data Fusion é executada e o projeto do Dataproc que é onde o cluster do Dataproc é iniciado.

VPC e instância do projeto do locatário

Valor de referência Caso de uso
No diagrama de arquitetura de referência anterior, o projeto do locatário contém os seguintes componentes:
  • A VPC padrão, que é criada automaticamente.
  • A implantação física da instância do Cloud Data Fusion.
 Nenhuma configuração adicional é necessária para esse caso de uso.

Projeto do cliente

Valor de referência Caso de uso
O projeto do Google Cloud é onde você implanta e executa pipelines. Por padrão, os clusters do Dataproc são iniciados neste projeto quando você executa os pipelines. Neste caso de uso, você gerencia dois projetos. Nesta página, projeto do cliente refere-se a quando o projeto do Cloud Data Fusion em execução na instância.
O projeto do Dataproc se refere a onde os clusters do Dataproc são iniciados.

VPC do cliente

Valor de referência Caso de uso

Do seu ponto de vista (do cliente), a VPC do cliente é onde o Cloud Data Fusion está localizado de forma lógica.


Principal aprendizado:
é possível encontrar os detalhes da VPC do cliente na página "Redes VPC" do seu projeto.

Acessar redes VPC

 Nenhuma configuração adicional é necessária para esse caso de uso.

Sub-rede do Cloud Data Fusion

Valor de referência Caso de uso

Do seu ponto de vista (do cliente), é nessa sub-rede O Cloud Data Fusion tem uma posição lógica.


Principal aprendizado:
a região dessa sub-rede é a mesma do local da instância do Cloud Data Fusion no projeto do locatário. 		Nenhuma configuração adicional é necessária para esse caso de uso.

Sub-rede do Dataproc

Valor de referência Caso de uso

A sub-rede em que os clusters do Dataproc são iniciados quando você executa um pipeline.


Aprendizados importantes:
  • Para essa configuração de referência, o Dataproc é executado na mesma sub-rede da instância do Cloud Data Fusion.
  • O Cloud Data Fusion localiza uma sub-rede na mesma região a instância e a sub-rede do Cloud Data Fusion. Se houver apenas um nessa região, elas serão as mesmas.
  • A sub-rede do Dataproc precisa ter Acesso privado do Google.

Esta é uma nova sub-rede em que os clusters do Dataproc quando você executa um pipeline.


Aprendizados importantes:
  • Para essa nova sub-rede, defina o Acesso privado do Google como Ativada.
  • A sub-rede do Dataproc não precisa estar na mesma como a instância do Cloud Data Fusion.

Origens e coletores

Valor de referência Caso de uso

As origens em que os dados são extraídos e os coletores em que os dados são carregados, como origens e coletores do BigQuery.


Principal aprendizado:
  • Os jobs que buscam e carregam dados devem ser processados no mesmo local como o conjunto de dados ou como resultado de um erro.
 As configurações de controle de acesso específicas do caso de uso nesta página são para fontes e destinos do BigQuery.

Cloud Storage

Valor de referência Caso de uso

O bucket de armazenamento no projeto do cliente que ajuda a transferir arquivos entre o Cloud Data Fusion e o Dataproc.


Aprendizados importantes:
  • É possível especificar esse bucket na interface da Web do Cloud Data Fusion nas configurações do Perfil de computação para clusters temporários.
  • Para pipelines em lote e em tempo real ou jobs de replicação: se você não especificar um bucket no perfil de computação, O Cloud Data Fusion cria um bucket no mesmo projeto instância para essa finalidade.
  • Mesmo para clusters estáticos do Dataproc, nesta configuração de referência, o bucket é criado pelo Cloud Data Fusion e é diferente dos buckets temporários e de preparação do Dataproc.
  • O Agente de serviço da API Cloud Data Fusion tem permissões integradas para criar esse bucket no projeto que contém a instância do Cloud Data Fusion.
 Não é necessário fazer mais nenhuma configuração para esse caso de uso.

Buckets temporários usados pela origem e pelo coletor

Valor de referência Caso de uso

Os buckets temporários criados por plug-ins para suas origens e coletores, como os jobs de carregamento iniciados pelo plug-in do coletor do BigQuery.


Aprendizados importantes:
  • É possível definir esses buckets ao configurar as propriedades do plug-in de origem e de destino.
  • Se você não definir um bucket, ele será criado no mesmo projeto. em que o Dataproc é executado.
  • Se o conjunto de dados for multirregional, o bucket será criado no mesmo do projeto.
  • Se você definir um bucket na configuração do plug-in, a região do o bucket precisa corresponder à região do conjunto de dados.
  • Se você não definir um bucket nas configurações do plug-in, o criado para você é excluído quando o pipeline é concluído.
 Para este caso de uso, o bucket pode ser criado em qualquer projeto.

Buckets que são fontes ou coletores de dados para plug-ins

Valor de referência Caso de uso
Os buckets de clientes, que você especifica nas configurações de plug-ins, como o plug-in do Cloud Storage e o FTP para plug-in do Cloud Storage. Não é necessário fazer mais nenhuma configuração para esse caso de uso.

IAM: agente de serviço da API Cloud Data Fusion

Valor de referência Caso de uso

Quando a API Cloud Data Fusion está ativada, o papel de agente de serviço da API Cloud Data Fusion (roles/datafusion.serviceAgent) é concedido automaticamente à conta de serviço do Cloud Data Fusion, o agente de serviço principal.


Aprendizados importantes:
  • A função contém permissões para serviços no mesmo projeto da instância, como o BigQuery e o Dataproc. Para ver todos os serviços compatíveis, consulte função detalhes.
  • A conta de serviço do Cloud Data Fusion faz o seguinte:
    • Comunicação do plano de dados (design e execução do pipeline) com outros serviços (por exemplo, comunicar-se com Cloud Storage, BigQuery e o Datastream no momento do design).
    • Provisiona clusters do Dataproc.
  • Se você estiver replicando de uma origem do Oracle, essa conta de serviço também precisará ter os papéis de administrador do Datastream e do armazenamento no projeto em que o job ocorre. Esta página não aborda um caso de uso de replicação.

Para esse caso de uso, conceda o papel de agente de serviço da API Cloud Data Fusion à conta de serviço no projeto do Dataproc. Em seguida, conceda os seguintes papéis nesse projeto:

  • Papel Usuário de rede do Compute
  • Função de editor do Dataproc

IAM: conta de serviço do Dataproc

Valor de referência Caso de uso

A conta de serviço usada para executar o pipeline como um job no cluster do Dataproc. Por padrão, é a conta de serviço do Compute Engine.


Opcional: na configuração de referência, é possível mudar a conta de serviço padrão para outra conta de serviço do mesmo projeto. Conceda os seguintes papéis do IAM à nova conta de serviço:

  • O papel do Executor do Cloud Data Fusion. Esse papel permite que o Dataproc se comunique com a API Cloud Data Fusion.
  • O papel Worker do Dataproc. Esse papel permite que os jobs sejam executados em clusters do Dataproc.
Aprendizados importantes:
  • A conta de serviço do agente da API para o novo serviço precisa receber o papel de usuário da conta de serviço na conta de serviço do Dataproc para que o agente da API do serviço possa usá-la para iniciar clusters do Dataproc.

Este exemplo de caso de uso pressupõe que você use a conta de serviço padrão do Compute Engine (PROJECT_NUMBER-compute@developer.gserviceaccount.com) do projeto do Dataproc.


Conceda os seguintes papéis à conta de serviço padrão do Compute Engine no projeto do Dataproc.

  • O papel de worker do Dataproc
  • O papel de administrador do Storage (ou, no mínimo, a permissão `storage.buckets.create`) para permitir que o Dataproc crie buckets temporários para o BigQuery.
  • Papel de usuário de jobs do BigQuery. Com esse papel, o Dataproc criar jobs de carregamento. Os jobs são criados no projeto por padrão.
  • Função de editor de conjuntos de dados do BigQuery. Essa função permite que o Dataproc crie conjuntos de dados ao carregar dados.

Conceda o papel de usuário da conta de serviço ao Cloud Data Fusion na conta de serviço padrão do Compute Engine do projeto do Dataproc. Essa ação precisa ser realizada no projeto do Dataproc.

Adicione a conta de serviço padrão do Compute Engine do projeto do Dataproc ao projeto do Cloud Data Fusion. Conceda também os seguintes papéis:

  • O papel Leitor de objetos do Storage para recuperar os jobs de pipeline relacionados artefatos do bucket de consumidores do Cloud Data Fusion.
  • Função de executor do Cloud Data Fusion para que o cluster do Dataproc possa se comunicar com o Cloud Data Fusion enquanto ele está em execução.

APIs

Valor de referência Caso de uso
Quando você ativa a API Cloud Data Fusion, as APIs a seguir também são ativadas. Para mais informações sobre essas APIs, acesse a página "APIs e serviços" do seu projeto.

Acessar APIs e serviços

  • API Cloud Scaling
  • API Dataproc
  • API Cloud Dataproc Control
  • API Cloud DNS
  • API Cloud OS Login
  • API Pub/Sub
  • API Compute Engine
  • API Container Filesystem
  • API Container Registry
  • API Service Account Credentials
  • API Identity and Access Management
  • API Google Kubernetes Engine

Quando você ativa a API Cloud Data Fusion, as seguintes contas de serviço são adicionadas automaticamente ao seu projeto:

  • Agente de serviço de APIs do Google
  • Agente de serviço do Compute Engine
  • Agente de serviço do Kubernetes Engine
  • Agente de serviço do Google Container Registry
  • Agente de serviços do Google Cloud Dataproc
  • Agente de serviço do Cloud KMS
  • Conta de serviços do Cloud Pub/Sub
 Para este caso de uso, ative as seguintes APIs no projeto que contém o projeto do Dataproc:
  • API Compute Engine
  • API Dataproc (provavelmente já ativada neste projeto). A API Dataproc Control é ativada automaticamente quando você ativa a API Dataproc.
  • API Resource Manager.

Chaves de criptografia

Valor de referência Caso de uso

Na configuração de referência, as chaves de criptografia podem ser gerenciadas pelo Google ou CMEK


Aprendizados importantes:

Se você usar a CMEK, a configuração de referência vai exigir o seguinte:

  • A chave precisa ser regional e criada na mesma região que a instância do Cloud Data Fusion.
  • Conceda o papel criptografador/descriptografador de CryptoKey do Cloud KMS ao as seguintes contas de serviço no nível da chave (não no página "IAM" do console do Google Cloud) no projeto onde ele é criado:
    • Conta de serviço da API Cloud Data Fusion
    • Conta de serviço do Dataproc, que é o agente de serviço do Compute Engine (service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com) por padrão
    • Agente de serviço do Google Cloud Dataproc (service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com)
    • Agente de serviço do Cloud Storage (service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com)

Dependendo dos serviços usados no pipeline, como o BigQuery ou o Cloud Storage, as contas de serviço também precisam ter a função de Criptografador/Descriptografador de CryptoKey do Cloud KMS:

  • A conta de serviço do BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com)
  • A conta de serviço do Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com)
  • A conta de serviço do Spanner (service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com)

Se você não usa a CMEK, nenhuma outra alteração é necessária para esse uso caso.

Se você usar a CMEK, o papel de criptografia/descriptografia do CryptoKey do Cloud KMS precisará ser fornecido à conta de serviço a seguir no nível da chave no projeto em que ela foi criada:

  • Agente de serviço do Cloud Storage (service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com)

Dependendo dos serviços usados no pipeline, como o BigQuery ou o Cloud Storage, outras contas de serviço também precisam receber o papel de Criptografador/Descriptografador de CryptoKey do Cloud KMS no nível da chave. Exemplo:

  • A conta de serviço do BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com)
  • A conta de serviço do Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com)
  • A conta de serviço do Spanner (service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com)

Depois de fazer essas configurações específicas para o caso de uso, o pipeline pode começar a ser executado em clusters em outro projeto.

A seguir