Configurar uma implantação entre projetos

É possível configurar uma implantação entre projetos para o metastore do Dataproc e separar os seguintes recursos:

  • O serviço metastore do Dataproc.
  • O cluster do Dataproc anexado ao serviço Metastore do Dataproc.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Papéis necessários

Para receber as permissões necessárias para criar um metastore do Dataproc e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar acesso com o IAM.

Sobre as implantações entre projetos

Uma implantação entre projetos para o metastore do Dataproc pode consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc (projeto do cluster).
    • O projeto dois contém o serviço metastore do Dataproc e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc.
    • O projeto dois contém o serviço metastore do Dataproc e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc e o serviço do metastore do Dataproc (projeto do cluster e projeto do metastore).
    • O projeto dois contém a rede (projeto de rede).

  • Três projetos:

    • O projeto um contém o cluster do Dataproc (projeto do cluster).
    • O projeto dois contém o serviço Metastore do Dataproc (projeto de metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir fornece uma visão geral das possíveis configurações de projeto que podem ser usadas.

Visão geral das possíveis configurações do projeto ao implantar um metastore e um cluster do Dataproc

Permissões entre projetos

Antes de configurar as permissões entre projetos, determine se isso é necessário para sua configuração:

Você precisa configurar outras permissões entre projetos

  • Se o cluster do Dataproc e o serviço metastore do Dataproc estiverem em projetos separados.

  • Se o serviço e a rede do metastore do Dataproc estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto do cluster e o projeto do metastore estiverem separados, conceda as seguintes funções:

  • roles/metastore.user à conta do agente de serviço do Dataproc do projeto do cluster (contida na política do IAM do projeto do metastore). Essa configuração se aplica aos protocolos de endpoint Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem separados, conceda os seguintes papéis:

Console

Para encontrar o número do projeto:

  1. Acesse a guia Configurações do IAM & Admin.

  2. Na lista de projetos na parte de cima da página, selecione o projeto que você quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as permissões:

  1. Acesse a guia IAM.

  2. Na lista de projetos na parte de cima da página, selecione o projeto do metastore.

  3. Clique em Adicionar.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do metastore do Dataproc.

  6. Clique em Adicionar.

Depois de concluir as etapas anteriores, crie um cluster do Dataproc anexado a um serviço do metastore do Dataproc. Para isso, a configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir