Configurare un deployment tra progetti

Puoi configurare un deployment tra progetti per Dataproc Metastore per separare le seguenti risorse:

  • Il servizio Dataproc Metastore.
  • Il cluster Dataproc collegato al servizio Dataproc Metastore.
  • La rete utilizzata dal cluster Dataproc.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per concedere il controllo completo delle risorse Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) nel progetto metastore.

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Informazioni sui deployment tra progetti

Un deployment tra progetti per Dataproc Metastore può essere costituito dalle seguenti configurazioni:

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc (project cluster).
    • Il secondo progetto contiene il servizio Dataproc Metastore e la rete (progetto Metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc.
    • Il secondo progetto contiene il servizio Dataproc Metastore e la rete (progetto Metastore e progetto di rete).

  • Due progetti:

    • Il primo progetto contiene il cluster Dataproc e il servizio Dataproc Metastore (progetto cluster e progetto metastore).
    • Il secondo progetto contiene la rete (progetto di rete).

  • Tre progetti:

    • Il progetto 1 contiene il cluster Dataproc (project cluster).
    • Il secondo progetto contiene il servizio Dataproc Metastore (progetto metastore).
    • Il progetto 3 contiene la rete (progetto di rete).

Il seguente diagramma fornisce una panoramica delle possibili configurazioni del progetto che puoi utilizzare.

Panoramica delle possibili configurazioni del progetto durante il deployment di Dataproc Metastore e di un cluster Dataproc

Autorizzazioni tra progetti

Prima di configurare le autorizzazioni tra progetti, determina se sono necessarie per la tua configurazione:

Devi configurare autorizzazioni interprogetto aggiuntive

  • Se il cluster Dataproc e il servizio Dataproc Metastore si trovano in progetti separati.

  • Se il servizio Dataproc Metastore e la rete si trovano in progetti distinti.

Configurare le autorizzazioni tra progetti

Se il progetto del cluster e il progetto del metastore si trovano in progetti separati, concedi i seguenti ruoli:

  • roles/metastore.user all'account Dataproc Service Agent del progetto cluster (contenuta nel criterio IAM del progetto metastore). Questa configurazione si applica sia ai protocolli di endpoint Thrift sia a quelli gRPC.

Se il progetto di rete e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

Console

Per trovare il numero del progetto:

  1. Vai alla scheda Impostazioni IAM e amministrazione.

  2. Dall'elenco dei progetti nella parte superiore della pagina, seleziona il progetto che vuoi utilizzare per creare il cluster Dataproc.

  3. Prendi nota del numero del progetto.

Configura le autorizzazioni:

  1. Vai alla scheda IAM.

  2. Nell'elenco dei progetti nella parte superiore della pagina, seleziona il progetto del metastore.

  3. Fai clic su Aggiungi.

  4. Inserisci l'account di servizio nel campo Nuove entità.

  5. Nel menu Ruoli, seleziona Dataproc Metastore > Visualizzatore Dataproc Metastore.

  6. Fai clic su Aggiungi.

Dopo aver completato i passaggi precedenti, puoi creare un cluster Dataproc collegato a un servizio Dataproc Metastore. Tieni presente che per farlo, la configurazione della rete o della subnet del cluster Dataproc deve corrispondere alla rete o alla subnet di Dataproc Metastore.

Ad esempio:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Passaggi successivi