Configurar uma implantação entre projetos

Você pode configurar uma implantação entre projetos no metastore do Dataproc para separar os seguintes recursos:

  • O serviço do metastore do Dataproc.
  • O cluster do Dataproc anexado ao serviço do Metastore do Dataproc.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Papéis necessários

Para ter as permissões necessárias para criar um metastore do Dataproc e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações sobre permissões e papéis específicos do metastore do Dataproc, consulte Gerenciar acesso com o IAM.

Sobre implantações entre projetos

Uma implantação entre projetos no metastore do Dataproc podem consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc (projeto de cluster).
    • O projeto dois contém o serviço Metastore do Dataproc e a rede (projeto de metastore e de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc.
    • O projeto dois contém o serviço Metastore do Dataproc e a rede (projeto de metastore e de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc Serviço Metastore do Dataproc (projeto de cluster e metastore projeto).
    • O projeto dois contém e a rede (projeto de rede).

  • Três projetos:

    • O projeto 1 contém o cluster do Dataproc projeto).
    • O projeto 2 contém o serviço Metastore do Dataproc (projeto de metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir mostra uma visão geral do possível projeto configurações que você pode usar.

Visão geral das possíveis configurações do projeto ao implantar um metastore e um cluster do Dataproc

Permissões entre projetos

Antes de configurar as permissões entre projetos, determine se elas são necessárias para sua configuração:

É necessário configurar outras permissões entre projetos

  • Se o cluster do Dataproc e o serviço do Dataproc Metastore estão em projetos separados.

  • Se o serviço e a rede do metastore do Dataproc estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto do cluster e o projeto da metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.user ao Dataproc do projeto de cluster Conta do agente de serviço (contida na política do IAM do projeto metastore). Isso se aplica aos protocolos de endpoint Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.serviceAgent para o agente de serviço do projeto metastore (contidas na política do IAM do projeto de rede). Essa configuração só se aplica ao protocolo de endpoint Thrift.

Console

Para encontrar o número do projeto:

  1. Acesse o painel do IAM Administrador Guia Configurações.

  2. Na lista de projetos na parte de cima da página, selecione o projeto que você quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as permissões:

  1. Acesse a guia IAM.

  2. Na lista de projetos na parte superior da página, selecione o metastore projeto.

  3. Clique em Adicionar.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do metastore do Dataproc.

  6. Clique em Adicionar.

Depois de concluir as etapas anteriores, você pode criar um cluster do Dataproc anexado a um serviço do Metastore do Dataproc. Para fazer isso, a configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir