Configurare un deployment tra progetti

Puoi configurare un deployment tra progetti per Dataproc Metastore per separare le seguenti risorse:

  • Il servizio Dataproc Metastore.
  • Il cluster Dataproc collegato al servizio Dataproc Metastore.
  • La rete utilizzata dal cluster Dataproc.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per concedere il controllo completo delle risorse Dataproc Metastore: Editor Dataproc Metastore (roles/metastore.editor) sul progetto metastore.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Informazioni sui deployment tra progetti

Un deployment tra progetti per Dataproc Metastore può essere costituito dalle seguenti configurazioni:

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc (progetto cluster).
    • Il progetto 2 contiene il servizio Dataproc Metastore e la rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc.
    • Il progetto 2 contiene il servizio Dataproc Metastore e la rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc e il servizio Dataproc Metastore (progetto cluster e progetto metastore).
    • Il progetto 2 contiene la rete (progetto di rete).

  • Tre progetti:

    • Il progetto 1 contiene il cluster Dataproc (progetto cluster).
    • Il progetto 2 contiene il servizio Dataproc Metastore (progetto metastore).
    • Il progetto 3 contiene la rete (progetto di rete).

Il seguente diagramma fornisce una panoramica delle possibili configurazioni del progetto che puoi utilizzare.

Panoramica delle possibili configurazioni del progetto durante il deployment di un cluster Dataproc Metastore e Dataproc

Autorizzazioni tra progetti

Prima di configurare le autorizzazioni tra progetti, determina se sono necessarie per la tua configurazione:

Devi configurare autorizzazioni aggiuntive tra progetti

  • Se il cluster Dataproc e il servizio Dataproc Metastore si trovano in progetti separati.

  • Se il servizio e la rete Dataproc Metastore si trovano in progetti separati.

Configurare le autorizzazioni tra progetti

Se il progetto del cluster e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

  • roles/metastore.user all'account service agent Dataproc del progetto cluster (contenuto nel criterio IAM del progetto metastore). Questa configurazione si applica sia ai protocolli degli endpoint Thrift che gRPC.

Se il progetto di rete e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

Console

Per trovare il numero di progetto:

  1. Vai alla scheda IAM e amministrazione Impostazioni.

  2. Dall'elenco dei progetti nella parte superiore della pagina, seleziona il progetto che vuoi utilizzare per creare il cluster Dataproc.

  3. Prendi nota del numero di progetto.

Configura le autorizzazioni:

  1. Vai alla scheda IAM.

  2. Dall'elenco dei progetti nella parte superiore della pagina, seleziona il progetto metastore.

  3. Fai clic su Aggiungi.

  4. Inserisci il account di servizio nel campo Nuove entità.

  5. Nel menu Ruoli, seleziona Dataproc Metastore > Visualizzatore Dataproc Metastore.

  6. Fai clic su Aggiungi.

Dopo aver completato i passaggi precedenti, puoi creare un cluster Dataproc collegato a un servizio Dataproc Metastore. Tieni presente che per farlo, la configurazione di rete o subnet del cluster Dataproc deve corrispondere alla rete o alla subnet di Dataproc Metastore.

Ad esempio:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Passaggi successivi