Profilo di rete RDMA RoCE
Questa pagina fornisce una panoramica del profilo di rete Remote Direct Memory Access (RDMA) su Converged Ethernet (RoCE) in Google Cloud.
Panoramica
Il profilo di rete RDMA RoCE consente di creare una rete Virtual Private Cloud (VPC) che fornisce una comunicazione RDMA a bassa latenza e larghezza di banda elevata tra le GPU delle VM create nella rete utilizzando il protocollo RoCE v2. Una rete VPC che utilizza il profilo di rete RoCE è chiamata rete VPC RoCE.
Le reti VPC RoCE sono utili per l'esecuzione di carichi di lavoro di AI. Per saperne di più sull'esecuzione dei carichi di lavoro di AI in Google Cloud, consulta la panoramica di AI Hypercomputer.
Il nome risorsa di un profilo di rete RoCE ha il seguente formato
ZONE-vpc-roce
, ad esempio europe-west1-b-vpc-roce
.
Per visualizzare nomi di profili di rete specifici, consulta
Elenca profili di rete.
Zone supportate
Il profilo di rete RoCE è disponibile in un numero limitato di zone. Puoi creare una rete VPC RoCE solo in una zona in cui è disponibile il profilo di rete RoCE.
Per visualizzare le zone supportate, consulta Elenca i profili di rete.
In alternativa, puoi visualizzare le zone supportate per il tipo di macchina GPU che intendi creare nella rete VPC RoCE. Il profilo di rete RoCE è disponibile nelle stesse zone dei tipi di macchina supportati descritti in Specifiche. Per maggiori informazioni, consulta Regioni e zone di disponibilità delle GPU.
Specifiche
Le reti VPC RoCE hanno le seguenti specifiche:
Schede di rete NVIDIA ConnectX. Le NIC NVIDIA ConnectX vengono visualizzate come interfacce di rete
MRDMA
in Google Cloud.Vincolo zonale. Le risorse che utilizzano una rete VPC RoCE sono limitate alla stessa zona del profilo di rete RoCE associato alla rete VPC RoCE durante la creazione della rete RoCE. Questo limite zonale ha i seguenti effetti:
Tutte le istanze con interfacce di rete in una rete VPC RoCE devono essere create nella zona corrispondente a quella del profilo di rete RoCE utilizzato dalla rete VPC RoCE.
Tutte le subnet create in una rete VPC RoCE devono trovarsi nella regione che contiene la zona del profilo di rete RoCE utilizzato dalla rete VPC RoCE.
Solo interfacce di rete MRDMA. Le reti VPC RoCE supportano solo interfacce di rete (NIC)
MRDMA
, disponibili solo nelle serie di macchine A3 Ultra, A4 e A4X.Tutte le NIC non MRDMA di un'istanza di macchina virtuale (VM) devono essere collegate a una rete VPC normale.
MTU di 8896 byte. Per ottenere prestazioni ottimali, consigliamo un'unità massima di trasmissione (MTU) di
8896
byte per le reti VPC RoCE. In questo modo, il driver RDMA nel sistema operativo guest della VM può utilizzare MTU più piccole, se necessario.Se crei una rete VPC RoCE utilizzando gcloud CLI o l'API,
8896
byte è l'MTU predefinito. Se crei una rete VPC RoCE utilizzando la console Google Cloud , devi impostare la MTU su8896
.Differenze del firewall. Le reti VPC RoCE utilizzano regole firewall implicite diverse. Supportano solo le policy firewall di rete regionali con un tipo di policy firewall RoCE. Il set di parametri per le regole all'interno di una policy firewall di rete regionale supportata è limitato. Per maggiori informazioni, consulta Cloud NGFW per le reti VPC RoCE.
Nessun supporto per i test di connettività. Connectivity Tests non supporta le reti VPC RoCE.
Altre funzionalità VPC. Le reti VPC RoCE supportano un insieme limitato di altre funzionalità VPC. Per maggiori informazioni, consulta la sezione Funzionalità supportate e non supportate.
Funzionalità supportate e non supportate
La tabella seguente elenca le funzionalità VPC supportate dalle reti VPC RoCE.
Funzionalità | Supportato | Proprietà del profilo di rete | Valore della proprietà del profilo di rete | Dettagli |
---|---|---|---|---|
MRDMA NIC |
interfaceTypes |
MRDMA |
Le reti VPC RoCE supportano solo NIC |
|
Più NIC nella stessa rete | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
Le reti VPC RoCE supportano
VM con più NIC, consentendo
a due o più NIC VM Consulta Rete VPC RoCE NIC relative alle schede di rete multiple. |
|
Subnet solo IPv4 | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
Le reti VPC RoCE supportano subnet solo IPv4, inclusi gli stessi intervalli IPv4 validi delle normali reti VPC. Le reti VPC RoCE non supportano subnet a doppio stack o solo IPv6. Per saperne di più, consulta Tipi di subnet. |
|
Scopo della subnet PRIVATE |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
Le reti VPC RoCE supportano le subnet regolari, che hanno un valore dell'attributo Le reti VPC RoCE non supportano le subnet Private Service Connect, le subnet solo proxy o le subnet NAT privata. Per saperne di più, consulta Scopi delle subnet. |
|
GCE_ENDPOINT scopo dell'indirizzo |
addressPurposes |
GCE_ENDPOINT |
Le reti VPC RoCE supportano indirizzi IP con un valore dell'attributo Le reti VPC RoCE non supportano indirizzi IP per scopi speciali,
come lo scopo |
|
Allegati da nic0 |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
Le reti VPC RoCE non supportano il collegamento delle interfacce di rete nic0
di una VM alla rete. Ogni NIC MRDMA collegata
a una rete VPC RoCE non deve essere nic0 . |
|
Indirizzi IP esterni per le VM | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
Le reti VPC RoCE non supportano l'assegnazione di
indirizzi IP esterni alle
NIC VM MDRMA . Di conseguenza, le NIC VM MDRMA non
hanno accesso a internet. |
|
Interfacce di rete dinamiche | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
Le reti VPC RoCE non supportano le NIC dinamiche. | |
Intervalli IP alias | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
Le reti VPC RoCE non supportano l'assegnazione di intervalli IP alias alle NIC MRDMA . |
|
Inoltro IP | allowIpForwarding |
IP_FORWARDING_BLOCKED |
Le reti VPC RoCE non supportano l'inoltro IP. | |
Migrazione di rete delle VM | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
Le reti VPC RoCE non supportano la migrazione delle NIC VM tra reti. | |
Modalità automatica | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
Le reti VPC RoCE non possono essere reti in modalità automatica. Per saperne di più, vedi Modalità di creazione subnet. | |
Peering di rete VPC | allowVpcPeering |
VPC_PEERING_BLOCKED |
Le reti VPC RoCE non supportano la connessione ad altre reti VPC tramite il peering di rete VPC. Di conseguenza, le reti VPC RoCE non supportano la connessione ai servizi utilizzando l'accesso privato ai servizi. | |
Route statiche | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
Le reti VPC RoCE non supportano le route statiche. | |
Mirroring pacchetto | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
Le reti VPC RoCE non supportano il mirroring pacchetto. | |
Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
Le reti VPC RoCE non supportano Cloud NAT. | |
Router Cloud | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
Le reti VPC RoCE non supportano router Cloud e route dinamiche. | |
Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
Le reti VPC RoCE non supportano i collegamenti VLAN di Cloud Interconnect. | |
Cloud VPN | allowVpn |
VPN_BLOCKED |
Le reti VPC RoCE non supportano i tunnel Cloud VPN. | |
Network Connectivity Center | allowNcc |
NCC_BLOCKED |
Le reti VPC RoCE non supportano Network Connectivity Center. Non puoi aggiungere una rete VPC RoCE come spoke VPC a un hub Network Connectivity Center. | |
Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
Le reti VPC RoCE non supportano Cloud Load Balancing. Di conseguenza, le reti VPC RoCE non supportano le funzionalità del bilanciatore del carico, incluso Google Cloud Armor. | |
Accesso privato Google | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
Le reti VPC RoCE non supportano l'accesso privato Google. | |
Private Service Connect | allowPsc |
PSC_BLOCKED |
Le reti VPC RoCE non supportano Private Service Connect. |
Considerazioni multi-NIC per la rete VPC RoCE
Per supportare i carichi di lavoro che traggono vantaggio dalla comunicazione GPU-GPU cross-rail, le reti VPC RoCE supportano le VM con più NIC MRDMA
nella rete. Ogni NIC MRDMA
deve trovarsi in una subnet univoca. L'inserimento di due o più NIC MRDMA
nella stessa rete VPC RoCE potrebbe influire sulle prestazioni di rete, incluso un aumento della latenza. MRDMA
Le NIC utilizzano
NCCL. NCCL tenta di allineare tutti i trasferimenti di rete, anche per la comunicazione cross-rail. Ad esempio, utilizza PXN per copiare
i dati tramite NVLink in una GPU allineata alla guida prima di trasferirli sulla
rete.
Passaggi successivi
- Profili di rete per casi d'uso specifici
- Crea una rete VPC per le NIC RDMA
- Cloud NGFW per reti VPC RoCE