Caso de uso: controle de acesso a um cluster do Dataproc em outro projeto

Esta página descreve como gerenciar o controle de acesso ao implantar e executar um pipeline que usa clusters do Dataproc em outro Google Cloud projeto.

Cenário

Por padrão, quando uma instância do Cloud Data Fusion é iniciada em um projetoGoogle Cloud , ela implanta e executa pipelines usando clusters do Dataproc no mesmo projeto. No entanto, sua organização pode exigir que você use clusters em outro projeto. Para esse caso de uso, é necessário gerenciar o acesso entre os projetos. A página a seguir descreve como mudar as configurações de referência (padrão) e aplicar os controles de acesso adequados.

Antes de começar

Para entender as soluções neste caso de uso, você precisa do seguinte contexto:

Pressuposições e escopo

Esse caso de uso tem os seguintes requisitos:

  • Uma instância privada do Cloud Data Fusion. Por motivos de segurança, uma organização pode exigir que você use esse tipo de instância.
  • Uma origem e um coletor do BigQuery.
  • Controle de acesso com o IAM, não o controle de acesso baseado em papéis (RBAC).

Solução

Essa solução compara a arquitetura e a configuração específicas do caso de uso e da referência.

Arquitetura

Os diagramas a seguir comparam a arquitetura do projeto para criar uma instância do Cloud Data Fusion e executar pipelines quando você usa clusters no mesmo projeto (valor de referência) e em um projeto diferente pela VPC do projeto de locatário.

Arquitetura de referência

Este diagrama mostra a arquitetura de referência dos projetos:

Arquitetura do projeto do locatário, do cliente e do Dataproc no Cloud Data Fusion.

Para a configuração de referência, crie uma instância particular do Cloud Data Fusion e execute um pipeline sem personalização adicional:

  • Você usa um dos perfis de computação integrados
  • A origem e o coletor estão no mesmo projeto da instância
  • Nenhum outro papel foi concedido a nenhuma das contas de serviço

Para mais informações sobre projetos de locatário e cliente, consulte Redes.

Arquitetura de casos de uso

Este diagrama mostra a arquitetura do projeto quando você usa clusters em outro projeto:

Arquitetura do projeto do locatário, do cliente e do Dataproc no Cloud Data Fusion.

Configurações

As seções a seguir comparam as configurações de referência às configurações específicas do caso de uso para usar clusters do Dataproc em um projeto diferente pela VPC padrão do projeto do locatário.

Nas descrições de caso de uso a seguir, o projeto do cliente é onde a instância do Cloud Data Fusion é executada, e o projeto do Dataproc é onde o cluster do Dataproc é iniciado.

VPC e instância do projeto do locatário

Valor de referência Caso de uso
No diagrama de arquitetura de referência anterior, o projeto do locatário contém os seguintes componentes:
  • A VPC padrão, que é criada automaticamente.
  • A implantação física da instância do Cloud Data Fusion.
 Não é necessário fazer mais nenhuma configuração para esse caso de uso.

Projeto do cliente

Valor de referência Caso de uso
Seu projeto Google Cloud é onde você implanta e executa pipelines. Por padrão, os clusters do Dataproc são iniciados neste projeto quando você executa os pipelines. Neste caso de uso, você gerencia dois projetos. Nesta página, o projeto do cliente se refere ao local em que a instância do Cloud Data Fusion é executada.
O projeto do Dataproc se refere a onde os clusters do Dataproc são iniciados.

VPC do cliente

Valor de referência Caso de uso

Do seu ponto de vista (do cliente), a VPC do cliente é onde o Cloud Data Fusion está localizado de maneira lógica.


Principal aprendizado:
você pode encontrar os detalhes da VPC do cliente na página "Redes VPC" do seu projeto.

Acesse as redes VPC

 Não é necessário fazer mais nenhuma configuração para esse caso de uso.

Sub-rede do Cloud Data Fusion

Valor de referência Caso de uso

Do seu ponto de vista (do cliente), essa sub-rede é onde o Cloud Data Fusion está localizado de forma lógica.


Principal aprendizado:
a região dessa sub-rede é a mesma do local da instância do Cloud Data Fusion no projeto do locatário. 		Não é necessário fazer mais nenhuma configuração para esse caso de uso.

Sub-rede do Dataproc

Valor de referência Caso de uso

A sub-rede em que os clusters do Dataproc são iniciados quando você executa um pipeline.


Aprendizados importantes:
  • Para essa configuração de referência, o Dataproc é executado na mesma sub-rede da instância do Cloud Data Fusion.
  • O Cloud Data Fusion localiza uma sub-rede na mesma região da instância e da sub-rede do Cloud Data Fusion. Se houver apenas uma sub-rede nessa região, elas serão iguais.
  • A sub-rede do Dataproc precisa ter o Acesso privado do Google.

É uma nova sub-rede em que os clusters do Dataproc são iniciados quando você executa um pipeline.


Aprendizados importantes:
  • Para essa nova sub-rede, defina o Acesso privado do Google como Ativado.
  • A sub-rede do Dataproc não precisa estar no mesmo local que a instância do Cloud Data Fusion.

Origens e coletores

Valor de referência Caso de uso

As origens em que os dados são extraídos e os coletores em que os dados são carregados, como origens e coletores do BigQuery.


Aprendizado importante:
  • Os jobs que buscam e carregam dados precisam ser processados no mesmo local que o conjunto de dados, ou um erro vai ocorrer.
 As configurações de controle de acesso específicas do caso de uso nesta página são para fontes e destinos do BigQuery.

Cloud Storage

Valor de referência Caso de uso

O bucket de armazenamento no projeto do cliente que ajuda a transferir arquivos entre o Cloud Data Fusion e o Dataproc.


Aprendizados importantes:
  • É possível especificar esse bucket na interface da Web do Cloud Data Fusion nas configurações do Perfil de computação para clusters temporários.
  • Para pipelines em lote e em tempo real ou jobs de replicação: se você não especificar um bucket no perfil de computação, o Cloud Data Fusion vai criar um bucket no mesmo projeto da instância para essa finalidade.
  • Mesmo para clusters estáticos do Dataproc, nesta configuração de referência, o bucket é criado pelo Cloud Data Fusion e é diferente dos buckets temporários e de preparação do Dataproc.
  • O Agente de serviço da API Cloud Data Fusion tem permissões integradas para criar esse bucket no projeto que contém a instância do Cloud Data Fusion.
 Não é necessário fazer mais nenhuma configuração para esse caso de uso.

Buckets temporários usados pela origem e pelo coletor

Valor de referência Caso de uso

Os buckets temporários criados por plug-ins para suas origens e coletores, como os jobs de carregamento iniciados pelo plug-in de coletor do BigQuery.


Aprendizados importantes:
  • É possível definir esses buckets ao configurar as propriedades do plug-in de origem e de destino.
  • Se você não definir um bucket, um será criado no mesmo projeto em que o Dataproc é executado.
  • Se o conjunto de dados for multirregional, o bucket será criado no mesmo escopo.
  • Se você definir um bucket na configuração do plug-in, a região do bucket precisará corresponder à região do conjunto de dados.
  • Se você não definir um bucket nas configurações do plug-in, o que for criado será excluído quando o pipeline terminar.
 Para este caso de uso, o bucket pode ser criado em qualquer projeto.

Buckets que são origens ou coletores de dados para plug-ins

Valor de referência Caso de uso
Os buckets do cliente, que você especifica nas configurações de plug-ins, como o plug-in do Cloud Storage e o plug-in do FTP para o Cloud Storage. Não é necessário fazer mais nenhuma configuração para esse caso de uso.

IAM: agente de serviço da API Cloud Data Fusion

Valor de referência Caso de uso

Quando a API Cloud Data Fusion é ativada, o papel de agente de serviço da API Cloud Data Fusion (roles/datafusion.serviceAgent) é concedido automaticamente à conta de serviço do Cloud Data Fusion, o agente de serviço principal.


Aprendizados importantes:
  • A função contém permissões para serviços no mesmo projeto da instância, como o BigQuery e o Dataproc. Para todos os serviços com suporte, consulte os detalhes do papel.
  • A conta de serviço do Cloud Data Fusion faz o seguinte:
    • Comunicação do plano de dados (design e execução do pipeline) com outros serviços (por exemplo, comunicação com o Cloud Storage, o BigQuery e o Datastream no momento do design).
    • Provisiona clusters do Dataproc.
  • Se você estiver replicando de uma origem do Oracle, essa conta de serviço também precisará ter os papéis de administrador do Datastream e do armazenamento no projeto em que o job ocorre. Esta página não aborda um caso de uso de replicação.

Para esse caso de uso, conceda o papel de agente de serviço da API Cloud Data Fusion à conta de serviço no projeto do Dataproc. Em seguida, conceda os seguintes papéis nesse projeto:

  • Papel Usuário de rede do Compute
  • Função de editor do Dataproc

IAM: conta de serviço do Dataproc

Valor de referência Caso de uso

A conta de serviço usada para executar o pipeline como um job no cluster do Dataproc. Por padrão, é a conta de serviço do Compute Engine.


Opcional: na configuração de referência, você pode mudar a conta de serviço padrão para outra conta de serviço do mesmo projeto. Conceda os seguintes papéis do IAM à nova conta de serviço:

  • O papel do Executor do Cloud Data Fusion. Esse papel permite que o Dataproc se comunique com a API Cloud Data Fusion.
  • O papel de worker do Dataproc. Esse papel permite que os jobs sejam executados em clusters do Dataproc.
Aprendizados importantes:
  • A conta de serviço do agente da API para o novo serviço precisa receber o papel de usuário da conta de serviço na conta de serviço do Dataproc para que o agente da API do serviço possa usá-la para iniciar clusters do Dataproc.

Este exemplo de caso de uso pressupõe que você use a conta de serviço padrão do Compute Engine (PROJECT_NUMBER-compute@developer.gserviceaccount.com) do projeto do Dataproc.


Conceda os seguintes papéis à conta de serviço padrão do Compute Engine no projeto do Dataproc.

  • O papel de worker do Dataproc
  • O papel de administrador do armazenamento (ou, no mínimo, a permissão `storage.buckets.create`) para permitir que o Dataproc crie buckets temporários para o BigQuery.
  • Papel de usuário de jobs do BigQuery. Essa função permite que o Dataproc crie jobs de carga. Por padrão, os jobs são criados no projeto do Dataproc.
  • Função de editor de conjuntos de dados do BigQuery. Essa função permite que o Dataproc crie conjuntos de dados ao carregar dados.

Conceda o papel de usuário da conta de serviço ao Cloud Data Fusion na conta de serviço padrão do Compute Engine do projeto do Dataproc. Essa ação precisa ser realizada no projeto do Dataproc.

Adicione a conta de serviço padrão do Compute Engine do projeto do Dataproc ao projeto do Cloud Data Fusion. Conceda também os seguintes papéis:

  • O papel de leitor de objetos do Storage para extrair artefatos relacionados ao job do pipeline do bucket do consumidor do Cloud Data Fusion.
  • Função de executor do Cloud Data Fusion para que o cluster do Dataproc possa se comunicar com o Cloud Data Fusion enquanto ele está em execução.

APIs

Valor de referência Caso de uso
Quando você ativa a API Cloud Data Fusion, as APIs a seguir também são ativadas. Para mais informações sobre essas APIs, acesse a página "APIs e serviços" do seu projeto.

Acessar APIs e serviços

  • API Cloud Scaling
  • API Dataproc
  • API Cloud Dataproc Control
  • Cloud DNS API
  • API Cloud OS Login
  • API Pub/Sub
  • API Compute Engine
  • API Container Filesystem
  • API Container Registry
  • API Service Account Credentials
  • API Identity and Access Management
  • API Google Kubernetes Engine

Quando você ativa a API Cloud Data Fusion, as seguintes contas de serviço são adicionadas automaticamente ao seu projeto:

  • Agente de serviço de APIs do Google
  • Agente de serviço do Compute Engine
  • Agente de serviço do Kubernetes Engine
  • Agente de serviço do Google Container Registry
  • Agente de serviços do Google Cloud Dataproc
  • Agente de serviço do Cloud KMS
  • Conta de serviços do Cloud Pub/Sub
 Para este caso de uso, ative as seguintes APIs no projeto que contém o Dataproc:
  • API Compute Engine
  • API Dataproc (provavelmente já ativada neste projeto). A API Dataproc Control é ativada automaticamente quando você ativa a API Dataproc.
  • API Resource Manager.

Chaves de criptografia

Valor de referência Caso de uso

Na configuração de referência, as chaves de criptografia podem ser gerenciadas pelo Google ou CMEK


Aprendizados importantes:

Se você usar a CMEK, a configuração de referência vai exigir o seguinte:

  • A chave precisa ser regional e criada na mesma região da instância do Cloud Data Fusion.
  • Conceda o papel Criptografador/Descriptografador do CryptoKey do Cloud KMS às seguintes contas de serviço no nível da chave (não na página do IAM do console do Google Cloud) no projeto em que ele foi criado:
    • Conta de serviço da API Cloud Data Fusion
    • Conta de serviço do Dataproc, que é o agente de serviço do Compute Engine (service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com) por padrão
    • Agente de serviços do Google Cloud Dataproc (service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com)
    • Agente de serviço do Cloud Storage (service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com)

Dependendo dos serviços usados no pipeline, como o BigQuery ou o Cloud Storage, as contas de serviço também precisam ter a função de Criptografador/Descriptografador de CryptoKey do Cloud KMS:

  • A conta de serviço do BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com)
  • A conta de serviço do Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com)
  • A conta de serviço do Spanner (service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com)

Se você não usa a CMEK, não é necessário fazer outras mudanças para esse caso de uso.

Se você usar a CMEK, o papel Criptografador/Descriptografador do CryptoKey do Cloud KMS precisa ser fornecido à conta de serviço a seguir no nível da chave no projeto em que ela foi criada:

  • Agente de serviço do Cloud Storage (service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com)

Dependendo dos serviços usados no pipeline, como o BigQuery ou o Cloud Storage, outras contas de serviço também precisam receber o papel de Criptografador/Descriptografador de CryptoKey do Cloud KMS no nível da chave. Exemplo:

  • A conta de serviço do BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com)
  • A conta de serviço do Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com)
  • A conta de serviço do Spanner (service-PROJECT_NUMBER@gcp-sa-spanner.iam.gserviceaccount.com)

Depois de fazer essas configurações específicas do caso de uso, o pipeline de dados poderá começar a ser executado em clusters em outro projeto.

A seguir