Configurazione di rete di Dataproc Serverless per Spark

Questo documento descrive i requisiti necessari per la configurazione della rete di Dataproc Serverless per Spark.

La subnet Virtual Private Cloud utilizzata per eseguire Dataproc Serverless per i carichi di lavoro Spark o le sessioni interattive deve soddisfare i requisiti descritti nelle seguenti sottosezioni.

La subnet VPC per la regione selezionata per il caricamento di lavoro batch o la sessione interattiva Dataproc Serverless deve avere attivato accesso privato Google.

Accesso alla rete esterna:se il tuo carico di lavoro richiede l'accesso alla rete esterna o a internet, puoi configurare Cloud NAT per consentire il traffico in uscita utilizzando gli IP interni sulla rete VPC.

Requisito di connettività della subnet aperta

La subnet VPC per la regione selezionata per il carico di lavoro batch Dataproc Serverless o la sessione interattiva deve consentire la comunicazione della subnet interna su tutte le porte tra le istanze VM.

Il seguente comando Google Cloud CLI collega una firewall di rete a una sottorete che consente le comunicazioni in entrata interne tra le VM che utilizzano tutti i protocolli su tutte le porte:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Note:

  • SUBNET_RANGES: Consulta Consenti le connessioni in entrata interne tra le VM. La rete VPC default in un progetto con la default-allow-internal regola firewall, che consente la comunicazione in entrata su tutte le porte (tcp:0-65535, udp:0-65535 e icmp protocols:ports), soddisfa il requisito di connettività della subnet aperta. Tuttavia, questa regola consente anche l'ingresso di qualsiasi istanza VM sulla rete.

Reti Dataproc Serverless e VPC-SC

Con Controlli di servizio VPC, gli amministratori di rete possono definire un perimetro di sicurezza intorno alle risorse dei servizi gestiti da Google per controllare le comunicazioni con quei servizi.

Tieni presente le seguenti strategie quando utilizzi le reti VPC-SC con Dataproc Serverless:

Per saperne di più, consulta Controlli di servizio VPC: Dataproc Serverless per Spark.