Configure uma implementação entre projetos

Pode configurar uma implementação entre projetos para o Dataproc Metastore para separar os seguintes recursos:

  • O serviço Dataproc Metastore.
  • O cluster do Dataproc anexado ao serviço Dataproc Metastore.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Funções necessárias

Para receber as autorizações de que precisa para criar um Dataproc Metastore e um cluster do Dataproc, peça ao seu administrador para lhe conceder as seguintes funções do IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Para mais informações sobre as funções e as autorizações específicas do Dataproc Metastore, consulte o artigo Faça a gestão do acesso com o IAM.

Acerca das implementações entre projetos

Uma implementação entre projetos para o Dataproc Metastore pode consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc (cluster project).
    • O projeto dois contém o serviço Dataproc Metastore e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc.
    • O projeto dois contém o serviço Dataproc Metastore e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc e o serviço de Metastore do Dataproc (projeto do cluster e projeto do metastore).
    • O projeto dois contém a rede (projeto de rede).

  • Três projetos:

    • O projeto um contém o cluster do Dataproc (cluster project).
    • O projeto dois contém o serviço Dataproc Metastore (projeto do metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama seguinte oferece uma vista geral das possíveis configurações de projetos que pode usar.

Vista geral das configurações de projeto possíveis quando implementa um cluster do Dataproc e um Metastore do Dataproc

Autorizações entre projetos

Antes de configurar as autorizações entre projetos, determine se são necessárias para a sua configuração:

Tem de configurar autorizações entre projetos adicionais

  • Se o cluster do Dataproc e o serviço Dataproc Metastore estiverem em projetos separados.

  • Se o serviço e a rede do Dataproc Metastore estiverem em projetos separados.

Configure autorizações entre projetos

Se o projeto do cluster e o projeto do metastore estiverem em projetos separados, conceda as seguintes funções:

  • roles/metastore.user à conta de agente de serviço do Dataproc do projeto do cluster (contida na política de IAM do projeto do metastore). Esta configuração aplica-se aos protocolos de ponto final Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem em projetos separados, conceda as seguintes funções:

Consola

Para encontrar o número do projeto:

  1. Navegue para o separador IAM e administrador Definições.

  2. Na lista de projetos na parte superior da página, selecione o projeto que quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as autorizações:

  1. Navegue para o separador IAM.

  2. Na lista de projetos na parte superior da página, selecione o projeto do metastore.

  3. Clique em Adicionar.

  4. Introduza a conta de serviço no campo Novos membros.

  5. No menu Funções, selecione Dataproc Metastore > Visualizador do Dataproc Metastore.

  6. Clique em Adicionar.

Depois de concluir os passos anteriores, pode criar um cluster do Dataproc associado a um serviço do Dataproc Metastore. Tenha em atenção que, para tal, a configuração de rede ou sub-rede do cluster do Dataproc tem de corresponder à rede ou sub-rede do Dataproc Metastore.

Por exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

O que se segue?