Private Service Connect con Dataproc Metastore

Con Private Service Connect, puoi creare un servizio Dataproc Metastore che non utilizza il peering VPC. Questa pagina spiega cos'è Private Service Connect e come utilizzarlo come opzione di rete alternativa per Dataproc Metastore.

Come funziona Dataproc Metastore con VPC

Dataproc Metastore protegge l'accesso ai metadati esponendo solo endpoint IP privati. Inoltre, limita la connettività alle VM nella tua rete VPC tramite il peering VPC.

Dataproc Metastore richiede le seguenti configurazioni per regione per ogni rete VPC:

Di conseguenza, la configurazione del peering VPC e delle prenotazioni di indirizzi IP può essere difficile nelle reti VPC sovraffollate. Analogamente, una rete VPC potrebbe non avere una quota di peering sufficiente per soddisfare ulteriori richieste di peering. Entrambe queste limitazioni possono impedirti di creare un nuovo servizio Dataproc Metastore.

Per aggirare questi problemi, puoi utilizzare Dataproc Metastore con Private Service Connect.

Come funziona Dataproc Metastore con Private Service Connect

Private Service Connect fornisce una connessione privata ai metadati di Dataproc Metastore nelle reti VPC.

Per utilizzare Private Service Connect con Dataproc Metastore, sono necessarie le seguenti configurazioni:

  • Una prenotazione di un singolo indirizzo nella sottorete.
  • Una regola di forwarding che ha come target il collegamento al servizio che espone l'endpoint Dataproc Metastore. La regola di deviazione e la prenotazione dell'indirizzo vengono create nell'ambito della chiamata di creazione del servizio Dataproc Metastore.

Considerazioni

  • I servizi Dataproc Metastore che utilizzano Private Service Connect supportano solo l'accesso dalle reti VPC delle sottoreti specificate durante la creazione del servizio.

  • Dataproc Metastore riserva gli indirizzi e crea regole di inoltro in ciascuna delle subnet specificate. Ogni sottorete ha un URI endpoint Thrift che puoi utilizzare per accedere all'endpoint metadati di Dataproc Metastore.

Limitazioni

  • I servizi Dataproc Metastore che utilizzano il protocollo degli endpoint gRPC non supportano Private Service Connect.
  • La connettività inversa non è supportata con Private Service Connect. Ciò significa che non puoi utilizzare una configurazione Kerberos con Private Service Connect.
  • Non puoi aggiungere o rimuovere dinamicamente le subnet da un servizio Dataproc Metastore configurato con Private Service Connect. Devi invece rielaborare un servizio se vuoi aggiungere o rimuovere sottoreti.
  • Non puoi aggiornare un servizio Dataproc Metastore che utilizza Private Service Connect per utilizzare VPC o viceversa.

Creare un servizio Dataproc Metastore con Private Service Connect

Le seguenti istruzioni mostrano come configurare Private Service Connect durante la creazione del servizio.

Console

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella parte superiore della pagina Dataproc Metastore, fai clic su Crea.

    Viene visualizzata la pagina Crea servizio.

  3. Configura il servizio in base alle tue esigenze.

  4. In Configurazione di rete, fai clic su Rendi i servizi accessibili in più subnet VPC.

  5. Seleziona Subnet. Puoi specificare fino a 5 sottoreti.

  6. Fai clic su Fine.

  7. Fai clic su Invia.

Verifica la configurazione di rete del servizio:

  1. Nella console Google Cloud, apri la pagina Dataproc Metastore:

    Vai a Dataproc Metastore

  2. Nella pagina Dataproc Metastore, fai clic sul nome del servizio che vuoi visualizzare.

    Viene aperta la pagina Dettagli del servizio per quel servizio.

  3. Nella scheda Configurazione, verifica che i dettagli mostrino più URI di sottoreti VPC.

gcloud

  1. Esegui il seguente comando gcloud metastore services create per creare un servizio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica che la creazione sia andata a buon fine.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Nei parametri di richiesta create, utilizza il campo Network Config per configurare Private Service Connect. Puoi specificare da 1 a 5 sottoreti.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Passaggi successivi