Profilo di rete RDMA RoCE

Questa pagina fornisce una panoramica del profilo di rete Remote Direct Memory Access (RDMA) su Converged Ethernet (RoCE) in Google Cloud.

Panoramica

Il profilo di rete RDMA RoCE consente di creare una rete Virtual Private Cloud (VPC) che fornisce una comunicazione RDMA a bassa latenza e larghezza di banda elevata tra le GPU delle VM create nella rete utilizzando il protocollo RoCE v2. Una rete VPC che utilizza il profilo di rete RoCE è chiamata rete VPC RoCE.

Le reti VPC RoCE sono utili per l'esecuzione di carichi di lavoro di AI. Per saperne di più sull'esecuzione dei carichi di lavoro di AI in Google Cloud, consulta la panoramica di AI Hypercomputer.

Il nome risorsa di un profilo di rete RoCE ha il seguente formato ZONE-vpc-roce, ad esempio europe-west1-b-vpc-roce. Per visualizzare nomi di profili di rete specifici, consulta Elenca profili di rete.

Zone supportate

Il profilo di rete RoCE è disponibile in un numero limitato di zone. Puoi creare una rete VPC RoCE solo in una zona in cui è disponibile il profilo di rete RoCE.

Per visualizzare le zone supportate, consulta Elenca i profili di rete.

In alternativa, puoi visualizzare le zone supportate per il tipo di macchina GPU che intendi creare nella rete VPC RoCE. Il profilo di rete RoCE è disponibile nelle stesse zone dei tipi di macchina supportati descritti in Specifiche. Per maggiori informazioni, consulta Regioni e zone di disponibilità delle GPU.

Specifiche

Le reti VPC RoCE hanno le seguenti specifiche:

  • Schede di rete NVIDIA ConnectX. Le NIC NVIDIA ConnectX vengono visualizzate come interfacce di rete MRDMA in Google Cloud.

  • Vincolo zonale. Le risorse che utilizzano una rete VPC RoCE sono limitate alla stessa zona del profilo di rete RoCE associato alla rete VPC RoCE durante la creazione della rete RoCE. Questo limite zonale ha i seguenti effetti:

    • Tutte le istanze con interfacce di rete in una rete VPC RoCE devono essere create nella zona corrispondente a quella del profilo di rete RoCE utilizzato dalla rete VPC RoCE.

    • Tutte le subnet create in una rete VPC RoCE devono trovarsi nella regione che contiene la zona del profilo di rete RoCE utilizzato dalla rete VPC RoCE.

  • Solo interfacce di rete MRDMA. Le reti VPC RoCE supportano solo interfacce di rete (NIC) MRDMA, disponibili solo nelle serie di macchine A3 Ultra, A4 e A4X.

    Tutte le NIC non MRDMA di un'istanza di macchina virtuale (VM) devono essere collegate a una rete VPC normale.

  • MTU di 8896 byte. Per ottenere prestazioni ottimali, consigliamo un'unità massima di trasmissione (MTU) di 8896 byte per le reti VPC RoCE. In questo modo, il driver RDMA nel sistema operativo guest della VM può utilizzare MTU più piccole, se necessario.

    Se crei una rete VPC RoCE utilizzando gcloud CLI o l'API, 8896 byte è l'MTU predefinito. Se crei una rete VPC RoCE utilizzando la console Google Cloud , devi impostare la MTU su 8896.

  • Differenze del firewall. Le reti VPC RoCE utilizzano regole firewall implicite diverse. Supportano solo le policy firewall di rete regionali con un tipo di policy firewall RoCE. Il set di parametri per le regole all'interno di una policy firewall di rete regionale supportata è limitato. Per maggiori informazioni, consulta Cloud NGFW per le reti VPC RoCE.

  • Nessun supporto per i test di connettività. Connectivity Tests non supporta le reti VPC RoCE.

  • Altre funzionalità VPC. Le reti VPC RoCE supportano un insieme limitato di altre funzionalità VPC. Per maggiori informazioni, consulta la sezione Funzionalità supportate e non supportate.

Funzionalità supportate e non supportate

La tabella seguente elenca le funzionalità VPC supportate dalle reti VPC RoCE.

Funzionalità Supportato Proprietà del profilo di rete Valore della proprietà del profilo di rete Dettagli
MRDMA NIC interfaceTypes MRDMA

Le reti VPC RoCE supportano solo NIC MRDMA, non altri tipi, come GVNIC o VIRTIO_NET.

Più NIC nella stessa rete allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Le reti VPC RoCE supportano VM con più NIC, consentendo a due o più NIC VM MRDMA di trovarsi nella stessa rete VPC RoCE. Ogni NIC deve essere collegata a una subnet univoca nella rete VPC RoCE.

Consulta Rete VPC RoCE NIC relative alle schede di rete multiple.

Subnet solo IPv4 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Le reti VPC RoCE supportano subnet solo IPv4, inclusi gli stessi intervalli IPv4 validi delle normali reti VPC.

Le reti VPC RoCE non supportano subnet a doppio stack o solo IPv6. Per saperne di più, consulta Tipi di subnet.

Scopo della subnet PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Le reti VPC RoCE supportano le subnet regolari, che hanno un valore dell'attributo purpose pari a PRIVATE.

Le reti VPC RoCE non supportano le subnet Private Service Connect, le subnet solo proxy o le subnet NAT privata. Per saperne di più, consulta Scopi delle subnet.

GCE_ENDPOINT scopo dell'indirizzo addressPurposes GCE_ENDPOINT

Le reti VPC RoCE supportano indirizzi IP con un valore dell'attributo purpose pari a GCE_ENDPOINT, che viene utilizzato dagli indirizzi IP interni delle NIC VM.

Le reti VPC RoCE non supportano indirizzi IP per scopi speciali, come lo scopo SHARED_LOADBALANCER_VIP. Per saperne di più, consulta il riferimento alla risorsa indirizzo.

Allegati da nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Le reti VPC RoCE non supportano il collegamento delle interfacce di rete nic0 di una VM alla rete. Ogni NIC MRDMA collegata a una rete VPC RoCE non deve essere nic0.
Indirizzi IP esterni per le VM allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Le reti VPC RoCE non supportano l'assegnazione di indirizzi IP esterni alle NIC VM MDRMA. Di conseguenza, le NIC VM MDRMA non hanno accesso a internet.
Interfacce di rete dinamiche allowSubInterfaces SUBINTERFACES_BLOCKED Le reti VPC RoCE non supportano le NIC dinamiche.
Intervalli IP alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Le reti VPC RoCE non supportano l'assegnazione di intervalli IP alias alle NIC MRDMA.
Inoltro IP allowIpForwarding IP_FORWARDING_BLOCKED Le reti VPC RoCE non supportano l'inoltro IP.
Migrazione di rete delle VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED Le reti VPC RoCE non supportano la migrazione delle NIC VM tra reti.
Modalità automatica allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Le reti VPC RoCE non possono essere reti in modalità automatica. Per saperne di più, vedi Modalità di creazione subnet.
Peering di rete VPC allowVpcPeering VPC_PEERING_BLOCKED Le reti VPC RoCE non supportano la connessione ad altre reti VPC tramite il peering di rete VPC. Di conseguenza, le reti VPC RoCE non supportano la connessione ai servizi utilizzando l'accesso privato ai servizi.
Route statiche allowStaticRoutes STATIC_ROUTES_BLOCKED Le reti VPC RoCE non supportano le route statiche.
Mirroring pacchetto allowPacketMirroring PACKET_MIRRORING_BLOCKED Le reti VPC RoCE non supportano il mirroring pacchetto.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Le reti VPC RoCE non supportano Cloud NAT.
Router Cloud allowCloudRouter CLOUD_ROUTER_BLOCKED Le reti VPC RoCE non supportano router Cloud e route dinamiche.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Le reti VPC RoCE non supportano i collegamenti VLAN di Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Le reti VPC RoCE non supportano i tunnel Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Le reti VPC RoCE non supportano Network Connectivity Center. Non puoi aggiungere una rete VPC RoCE come spoke VPC a un hub Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Le reti VPC RoCE non supportano Cloud Load Balancing. Di conseguenza, le reti VPC RoCE non supportano le funzionalità del bilanciatore del carico, incluso Google Cloud Armor.
Accesso privato Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Le reti VPC RoCE non supportano l'accesso privato Google.
Private Service Connect allowPsc PSC_BLOCKED Le reti VPC RoCE non supportano Private Service Connect.

Considerazioni multi-NIC per la rete VPC RoCE

Per supportare i carichi di lavoro che traggono vantaggio dalla comunicazione GPU-GPU cross-rail, le reti VPC RoCE supportano le VM con più NIC MRDMA nella rete. Ogni NIC MRDMA deve trovarsi in una subnet univoca. L'inserimento di due o più NIC MRDMA nella stessa rete VPC RoCE potrebbe influire sulle prestazioni di rete, incluso un aumento della latenza. MRDMA Le NIC utilizzano NCCL. NCCL tenta di allineare tutti i trasferimenti di rete, anche per la comunicazione cross-rail. Ad esempio, utilizza PXN per copiare i dati tramite NVLink in una GPU allineata alla guida prima di trasferirli sulla rete.

Passaggi successivi