RDMA-RoCE-Netzwerkprofil

Auf dieser Seite finden Sie eine Übersicht über das Netzwerkprofil Remote Direct Memory Access (RDMA) over Converged Ethernet (RoCE) in Google Cloud.

Übersicht

Mit dem RDMA RoCE-Netzwerkprofil können Sie ein VPC-Netzwerk (Virtual Private Cloud) erstellen, das RDMA-Kommunikation mit niedriger Latenz und hoher Bandbreite zwischen den GPUs von VMs ermöglicht, die im Netzwerk mit dem RoCE v2-Protokoll erstellt werden. Ein VPC-Netzwerk, das das RoCE-Netzwerkprofil verwendet, wird als RoCE-VPC-Netzwerk bezeichnet.

RoCE-VPC-Netzwerke eignen sich für die Ausführung von KI-Arbeitslasten. Weitere Informationen zum Ausführen von KI-Arbeitslasten in Google Cloudfinden Sie in der Übersicht zum KI-Hypercomputer.

Der Ressourcenname eines RoCE-Netzwerkprofils hat das folgende Format: ZONE-vpc-roce, z. B. europe-west1-b-vpc-roce. Informationen zum Anzeigen bestimmter Netzwerkprofilnamen finden Sie unter Netzwerkprofile auflisten.

Unterstützte Zonen

Das RoCE-Netzwerkprofil ist nur in einer begrenzten Anzahl von Zonen verfügbar. Sie können ein RoCE-VPC-Netzwerk nur in einer Zone erstellen, in der das RoCE-Netzwerkprofil verfügbar ist.

Eine Liste der unterstützten Zonen finden Sie unter Netzwerkprofile auflisten.

Alternativ können Sie die unterstützten Zonen für den GPU-Maschinentyp ansehen, den Sie im RoCE-VPC-Netzwerk erstellen möchten. Das RoCE-Netzwerkprofil ist in denselben Zonen wie die unterstützten Maschinentypen verfügbar, die in den Spezifikationen beschrieben sind. Weitere Informationen finden Sie unter Regionen und Zonen für die GPU-Verfügbarkeit.

Spezifikationen

Für RoCE-VPC-Netzwerke gelten die folgenden Spezifikationen:

  • NVIDIA ConnectX-NICs. NVIDIA ConnectX-NICs werden in Google Cloudals MRDMA-Netzwerkschnittstellen angezeigt.

  • Zonale Einschränkung. Ressourcen, die ein RoCE-VPC-Netzwerk verwenden, sind auf dieselbe Zone beschränkt wie das RoCE-Netzwerkprofil, das dem RoCE-VPC-Netzwerk bei der Erstellung des RoCE-Netzwerks zugeordnet ist. Dieses zonale Limit hat folgende Auswirkungen:

    • Alle Instanzen mit Netzwerkschnittstellen in einem RoCE-VPC-Netzwerk müssen in der Zone erstellt werden, die der Zone des RoCE-Netzwerkprofils entspricht, das vom RoCE-VPC-Netzwerk verwendet wird.

    • Alle Subnetze, die in einem RoCE-VPC-Netzwerk erstellt werden, müssen sich in der Region befinden, die die Zone des RoCE-Netzwerkprofils enthält, das vom RoCE-VPC-Netzwerk verwendet wird.

  • Nur MRDMA-Netzwerkschnittstellen: RoCE-VPC-Netzwerke unterstützen nur MRDMA-Netzwerkschnittstellen (NICs), die nur auf den Maschinenserien A3 Ultra, A4 und A4X verfügbar sind.

    Alle NICs einer VM-Instanz, die nicht MRDMA-kompatibel sind, müssen an ein reguläres VPC-Netzwerk angehängt werden.

  • 8.896 Byte MTU. Für eine optimale Leistung empfehlen wir eine maximale Übertragungseinheit (MTU) von 8896 Byte für RoCE-VPC-Netzwerke. So kann der RDMA-Treiber im Gastbetriebssystem der VM bei Bedarf kleinere MTUs verwenden.

    Wenn Sie ein RoCE-VPC-Netzwerk mit der gcloud CLI oder der API erstellen, ist 8896 Byte die Standard-MTU. Wenn Sie ein RoCE-VPC-Netzwerk über die Google Cloud Konsole erstellen, müssen Sie die MTU auf 8896 festlegen.

  • Firewall-Unterschiede Für RoCE-VPC-Netzwerke gelten andere implizite Firewallregeln. Sie unterstützen nur regionale Netzwerk-Firewallrichtlinien mit dem Firewallrichtlinientyp „RoCE“. Die Parameter für Regeln in einer unterstützten regionalen Netzwerk-Firewallrichtlinie sind begrenzt. Weitere Informationen finden Sie unter Cloud NGFW für RoCE-VPC-Netzwerke.

  • Keine Unterstützung für VPC-Flusslogs RoCE-VPC-Netzwerke unterstützen keine VPC-Flusslogs, auch wenn Sie VPC-Flusslogs für ein Subnetz in einem RoCE-VPC-Netzwerk aktivieren.

  • Keine Unterstützung für Konnektivitätstests: Konnektivitätstests unterstützen keine RoCE-VPC-Netzwerke.

  • Weitere VPC-Funktionen RoCE-VPC-Netzwerke unterstützen nur eine begrenzte Anzahl anderer VPC-Funktionen. Weitere Informationen finden Sie im folgenden Abschnitt Unterstützte und nicht unterstützte Funktionen.

Unterstützte und nicht unterstützte Funktionen

In der folgenden Tabelle sind die VPC-Funktionen aufgeführt, die von RoCE-VPC-Netzwerken unterstützt werden.

Funktion Unterstützt Attribut des Netzwerkprofils Attributwert des Netzwerkprofils Details
MRDMA NICs interfaceTypes MRDMA

RoCE-VPC-Netzwerke unterstützen nur MRDMA-NICs, keine anderen Typen wie GVNIC oder VIRTIO_NET.
Mehrere NICs im selben Netzwerk allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

RoCE-VPC-Netzwerke unterstützen VMs mit mehreren NICs, sodass sich zwei oder mehr MRDMA-VM-NICs im selben RoCE-VPC-Netzwerk befinden können. Jede NIC muss an ein eindeutiges Subnetz im RoCE-VPC-Netzwerk angehängt werden.

Weitere Informationen finden Sie unter RoCE-VPC-Netzwerk – Überlegungen zu mehreren NICs.
Nur-IPv4-Subnetze subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

RoCE-VPC-Netzwerke unterstützen Nur-IPv4-Subnetze, einschließlich der gleichen gültigen IPv4-Bereiche wie reguläre VPC-Netzwerke.

RoCE-VPC-Netzwerke unterstützen keine Dual-Stack- oder reinen IPv6-Subnetze. Weitere Informationen finden Sie unter Subnetztypen.
PRIVATE Subnetzzweck subnetworkPurposes SUBNET_PURPOSE_PRIVATE

RoCE-VPC-Netzwerke unterstützen reguläre Subnetze mit dem Attributwert PRIVATE für purpose.

RoCE-VPC-Netzwerke unterstützen keine Private Service Connect-Subnetze, Proxy-only-Subnetze oder Private NAT-Subnetze. Weitere Informationen finden Sie unter Zwecke von Subnetzen.
GCE_ENDPOINT-Adresszweck addressPurposes GCE_ENDPOINT

RoCE-VPC-Netzwerke unterstützen IP-Adressen mit dem Attributwert purpose von GCE_ENDPOINT, der von internen IP-Adressen von VM-NICs verwendet wird.

RoCE-VPC-Netzwerke unterstützen keine IP-Adressen für spezielle Zwecke, z. B. für SHARED_LOADBALANCER_VIP. Weitere Informationen finden Sie in der Referenz zur Adressressource.
Anhänge von nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED In RoCE-VPC-Netzwerken wird das Anhängen der nic0-Netzwerkschnittstellen einer VM an das Netzwerk nicht unterstützt. Jede MRDMA-NIC, die mit einem RoCE-VPC-Netzwerk verbunden ist, darf nicht nic0 sein.
Externe IP-Adressen für VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED In RoCE-VPC-Netzwerken wird das Zuweisen von externen IP-Adressen zu MDRMA VM-NICs nicht unterstützt. Daher haben MDRMA VM-NICs keinen Internetzugriff.
Dynamic Network Interfaces allowSubInterfaces SUBINTERFACES_BLOCKED RoCE-VPC-Netzwerke unterstützen keine dynamischen NICs.
Alias-IP-Bereiche allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED In RoCE-VPC-Netzwerken wird die Zuweisung von Alias-IP-Bereichen zu MRDMA-NICs nicht unterstützt.
IP-Weiterleitung allowIpForwarding IP_FORWARDING_BLOCKED RoCE-VPC-Netzwerke unterstützen keine IP-Weiterleitung.
VM-Netzwerkmigration allowNetworkMigration NETWORK_MIGRATION_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Migration von VM-NICs zwischen Netzwerken.
Automatikmodus allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED RoCE-VPC-Netzwerke können keine Netzwerke im automatischen Modus sein. Weitere Informationen finden Sie unter Modus für Subnetzerstellung.
VPC-Netzwerk-Peering allowVpcPeering VPC_PEERING_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Verbindung zu anderen VPC-Netzwerken über VPC-Netzwerk-Peering. Daher wird in RoCE-VPC-Netzwerken keine Verbindung zu Diensten über den Zugriff auf private Dienste unterstützt.
Statische Routen allowStaticRoutes STATIC_ROUTES_BLOCKED RoCE-VPC-Netzwerke unterstützen keine statischen Routen.
Paketspiegelung allowPacketMirroring PACKET_MIRRORING_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Paketspiegelung.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED RoCE-VPC-Netzwerke unterstützen Cloud NAT nicht.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Cloud Router und dynamischen Routen.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Cloud Interconnect-VLAN-Anhänge.
Cloud VPN allowVpn VPN_BLOCKED RoCE-VPC-Netzwerke unterstützen keine Cloud VPN-Tunnel.
Network Connectivity Center allowNcc NCC_BLOCKED RoCE-VPC-Netzwerke unterstützen Network Connectivity Center nicht. Sie können ein RoCE-VPC-Netzwerk nicht als VPC-Spoke zu einem Network Connectivity Center-Hub hinzufügen.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED RoCE-VPC-Netzwerke unterstützen kein Cloud Load Balancing. Daher unterstützen RoCE-VPC-Netzwerke keine Load-Balancer-Funktionen, einschließlich Google Cloud Armor.
Privater Google-Zugriff allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED RoCE-VPC-Netzwerke unterstützen keinen privaten Google-Zugriff.
Private Service Connect allowPsc PSC_BLOCKED RoCE-VPC-Netzwerke unterstützen Private Service Connect nicht.

Überlegungen zu mehreren NICs für RoCE-VPC-Netzwerk

Zur Unterstützung von Arbeitslasten, die von der GPU-zu-GPU-Kommunikation über mehrere Rails hinweg profitieren, unterstützen RoCE-VPC-Netzwerke VMs mit mehreren MRDMA-NICs im Netzwerk. Jede MRDMA-NIC muss sich in einem eindeutigen Subnetz befinden. Wenn Sie zwei oder mehr MRDMA-NICs im selben RoCE-VPC-Netzwerk platzieren, kann sich dies auf die Netzwerkleistung auswirken, z. B. durch eine erhöhte Latenz. MRDMA NICs use NCCL. NCCL versucht, alle Netzwerkübertragungen auszurichten, auch für die Kommunikation zwischen den Rails. PXN verwendet beispielsweise NVLink, um Daten auf eine schienenkompatible GPU zu kopieren, bevor sie über das Netzwerk übertragen werden.

Nächste Schritte