Panoramica della rete di Dataproc Metastore

Questo documento fornisce una panoramica delle impostazioni di rete che puoi utilizzare per configurare un servizio Dataproc Metastore.

Riferimento rapido per gli argomenti di networking

Impostazioni di networking predefinite

La sezione seguente descrive le impostazioni di rete predefinite utilizzate da Dataproc Metastore: reti VPC e peering di rete VPC.

Reti VPC

Per impostazione predefinita, i servizi Dataproc Metastore utilizzano le reti VPC per connettersi a Google Cloud. Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Quando crei un Dataproc Metastore, il servizio crea automaticamente la rete VPC.

Se non modifichi alcuna impostazione durante la creazione del servizio, Dataproc Metastore utilizza la rete VPC default. Con questa impostazione, la rete VPC che utilizzi con il servizio Dataproc Metastore può appartenere allo stesso progetto Google Cloud o a un progetto diverso. Questa impostazione ti consente anche di esporre il servizio in una singola rete VPC o di renderlo accessibile da più reti VPC (tramite l'utilizzo di subnet).

Dataproc Metastore richiede quanto segue per regione per ogni rete VPC:

• 1 quota di peering
• /17 e /20 CIDR

Peering di rete VPC

Dopo aver creato la rete VPC, Dataproc Metastore configura automaticamente anche il peering di rete VPC per il tuo servizio. Il VPC fornisce al servizio l'accesso ai protocolli endpoint Dataproc Metastore. Dopo aver creato il servizio, puoi visualizzare il peering di rete VPC sottostante nella pagina Peering di rete VPC della console Google Cloud.

Il peering di rete VPC non è transitivo. Ciò significa che solo le reti in peering diretto possono comunicare tra loro. Ad esempio, considera lo scenario seguente:

Hai le seguenti reti: rete VPC N1, N2 e N3.

• La rete VPC N1 è in peering con N2 e N3.
• Le reti VPC N2 e N3 non sono connesse direttamente.

Che cosa significa?

Ciò significa che tramite il peering di rete VPC, la rete VPC N2 non può comunicare con la rete VPC N3. Ciò influisce sulle connessioni Dataproc Metastore nei seguenti modi:

• Le macchine virtuali che si trovano in reti con peering con la rete del progetto Dataproc Metastore non possono raggiungere Dataproc Metastore.
• Solo gli host sulla rete VPC possono raggiungere un servizio Dataproc Metastore.

Considerazioni sulla sicurezza del peering di rete VPC

• Il traffico tramite il peering di rete VPC viene fornito con un determinato livello di crittografia. Per saperne di più, consulta Crittografia e autenticazione della rete virtuale di Google Cloud.

• La creazione di una rete VPC per ogni servizio con un indirizzo IP interno fornisce un migliore isolamento della rete rispetto all'inserimento di tutti i servizi nella rete VPC default.

Subnet VPC

Private Service Connect (PSC) consente di configurare una connessione privata ai metadati di Dataproc Metastore nelle reti VPC. Con PSC, puoi creare un servizio senza peering VPC. In questo modo puoi utilizzare i tuoi indirizzi IP interni per accedere a Dataproc Metastore senza uscire dalle tue reti VPC o utilizzare indirizzi IP esterni.

Per configurare Private Service Connect durante la creazione di un servizio, consulta Private Service Connect con Dataproc Metastore.

Indirizzi IP

Per connettersi a una rete e contribuire a proteggere i metadati, i servizi Dataproc Metastore utilizzano solo indirizzi IP interni. Ciò significa che gli indirizzi IP pubblici non sono esposti o sono disponibili per scopi di networking.

Utilizzando un indirizzo IP interno, Dataproc Metastore può connettersi solo alle macchine virtuali (VM) esistenti nelle reti Virtual Private Cloud (VPC) specificate o in un ambiente on-premise.

Le connessioni a un servizio Dataproc Metastore che utilizza un indirizzo IP interno utilizzano intervalli di indirizzi RFC 1918. L'utilizzo di questi intervalli significa che Dataproc Metastore alloca un intervallo /17 e un intervallo /20 dallo spazio di indirizzi per ogni regione. Ad esempio, il posizionamento dei servizi Dataproc Metastore in due regioni richiede che l'intervallo di indirizzi IP allocato contenga quanto segue:

• Almeno due blocchi di indirizzi inutilizzati di dimensioni /17.
• Almeno due blocchi di indirizzi inutilizzati di dimensioni /20.

Se non vengono trovati blocchi di indirizzi RFC 1918, Dataproc Metastore trova invece blocchi di indirizzi non RFC 1918 adatti. Tieni presente che l'allocazione dei blocchi non RFC 1918 non tiene conto del fatto che questi indirizzi siano in uso o meno nella tua rete VPC o on-premise.

Impostazioni di rete aggiuntive

Se hai bisogno di impostazioni di rete diverse, puoi utilizzare le seguenti opzioni con il servizio Dataproc Metastore.

Rete VPC condivisa

Puoi creare servizi Dataproc Metastore in una VPC condiviso condivisa. Un VPC condiviso consente di connettere risorse Dataproc Metastore di più progetti a una rete VPC comune.

Per configurare un VPC condiviso durante la creazione di un servizio, consulta Crea un servizio Dataproc Metastore.

Networking on-premise

Puoi connetterti a un servizio Dataproc Metastore con un ambiente on-premise utilizzando Cloud VPN o Cloud Interconnect.

Controlli di servizio VPC

I Controlli di servizio VPC migliorano la tua capacità di ridurre il rischio di esfiltrazione di dati. Con i Controlli di servizio VPC, crei perimetri attorno al servizio Dataproc Metastore. I Controlli di servizio VPC limitano l'accesso alle risorse all'interno del perimetro dall'esterno. Solo i client e le risorse all'interno del perimetro possono interagire tra loro.

Per utilizzare i Controlli di servizio VPC con Dataproc Metastore, consulta Controlli di servizio VPC con Dataproc Metastore. Consulta anche le limitazioni di Dataproc Metastore quando utilizzi i Controlli di servizio VPC.

Regole firewall per Dataproc Metastore

Negli ambienti non predefiniti o privati con un assetto di sicurezza consolidato potrebbe essere necessario creare regole firewall personalizzate. In questo caso, non creare una regola firewall che blocchi l'intervallo di indirizzi IP o la porta dei tuoi servizi Dataproc Metastore.

Quando crei un servizio Dataproc Metastore, puoi accettare la rete predefinita per il servizio. La rete predefinita garantisce l'accesso completo alla rete IP interna per le tue VM.

Per informazioni più generali sulle regole firewall, vedi Regole firewall VPC e Utilizzo delle regole firewall VPC.

Crea una regola firewall per una rete personalizzata

Quando utilizzi una rete personalizzata, assicurati che la regola firewall consenta il traffico in entrata e in uscita dall'endpoint Dataproc Metastore. Per consentire esplicitamente il traffico di Dataproc Metastore, esegui i seguenti comandi gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Per DPMS_NET_PREFIX, applica una maschera di sottorete /17 all'IP del servizio Dataproc Metastore. Puoi trovare le informazioni sull'indirizzo IP di Dataproc Metastore nella configurazione di endpointUri nella pagina Dettagli servizio.

Considerazioni

Le reti hanno una regola di uscita di autorizzazione implicita che normalmente consente l'accesso dalla tua rete a Dataproc Metastore. Se crei regole di negazione dell'uscita che sostituiscono la regola di autorizzazione dell'uscita implicita, devi creare una regola di autorizzazione dell'uscita con una priorità più elevata per consentire l'uscita verso l'IP di Dataproc Metastore.

Alcune funzionalità, come Kerberos, richiedono a Dataproc Metastore di avviare connessioni agli host nella rete del progetto. Tutte le reti hanno una regola di negazione implicita in entrata che blocca queste connessioni e impedisce il funzionamento di queste funzionalità. Devi creare una regola firewall che consenta l'ingresso TCP e UDP su tutte le porte dal blocco IP /17 che contiene l'IP Dataproc Metastore.

Routing personalizzato

Le route personalizzate sono per le subnet che utilizzano indirizzi IP pubblici utilizzati privatamente (PUPI). Le route personalizzate consentono alla tua rete VPC di connettersi a una rete peer. Le route personalizzate possono essere ricevute solo quando la tua rete VPC le importa e la rete peer le esporta esplicitamente. Le route personalizzate possono essere statiche o dinamiche.

La condivisione di route personalizzate con reti VPC in peering consente alle reti di "apprendere" le route direttamente dalle reti in peering. Ciò significa che quando una route personalizzata in una rete in peering viene aggiornata, la tua rete VPC apprende e implementa automaticamente la route personalizzata senza richiedere ulteriori azioni da parte tua.

Per ulteriori informazioni sul routing personalizzato, consulta la configurazione di rete.

Esempio di networking Dataproc Metastore

Nell'esempio seguente, Google alloca gli intervalli di indirizzi 10.100.0.0/17 e 10.200.0.0/20 nella rete VPC del cliente per i servizi Google e utilizza gli intervalli di indirizzi in una rete VPC in peering.

Descrizione dell'esempio di networking:

• Sul lato dei servizi Google del peering VPC, Google crea un progetto per il cliente. Il progetto è isolato, il che significa che nessun altro cliente lo condivide e al cliente vengono addebitate solo le risorse che ha eseguito il provisioning.
• Quando crei il primo servizio Dataproc Metastore in una regione, Dataproc Metastore alloca un intervallo /17 e un intervallo /20 nella rete del cliente per tutto l'utilizzo futuro dei servizi Dataproc Metastore in quella regione e in quella rete. Dataproc Metastore suddivide ulteriormente questi intervalli per creare subnet e intervalli di indirizzi nelprogetto di producer di servizii.
• I servizi VM nella rete del cliente possono accedere alle risorse del servizio Dataproc Metastore in qualsiasi regione se il servizioGoogle Cloud lo supporta. Alcuni Google Cloud servizi potrebbero non supportare la comunicazione tra regioni.
• Vengono comunque applicati i costi per il traffico in uscita per il traffico tra regioni, in cui un'istanza VM comunica con risorse in una regione diversa.
• Google assegna al servizio Dataproc Metastore l'indirizzo IP 10.100.0.100. Nella rete VPC del cliente, le richieste con destinazione 10.100.0.100 vengono instradate tramite il peering VPC alla rete del producer di servizi. Dopo aver raggiunto la rete di servizio, questa contiene route che indirizzano la richiesta alla risorsa corretta.
• Il traffico tra le reti VPC viene trasferito internamente all'interno della rete di Google, non tramite la rete internet pubblica.

Passaggi successivi

• Controlli di servizio VPC con Dataproc Metastore
• IAM e controllo dell'accesso di Dataproc Metastore
• Private Service Connect con Dataproc Metastore