RDMA-Netzwerkprofile

Auf dieser Seite finden Sie eine Übersicht über RDMA-Netzwerkprofile (Remote Direct Memory Access) in Google Cloud.

Übersicht

Mit RDMA-Netzwerkprofilen können Sie VPC-Netzwerke (Virtual Private Cloud) erstellen, die eine RDMA-Kommunikation mit niedriger Latenz und hoher Bandbreite zwischen dem Arbeitsspeicher oder den GPUs von VMs ermöglichen, die im Netzwerk erstellt werden.

RDMA-Netzwerkprofile sind nützlich für die Ausführung von KI-Arbeitslasten. Weitere Informationen zum Ausführen von KI-Arbeitslasten in Google Cloudfinden Sie in der Übersicht zum KI-Hypercomputer.

Sie können die folgenden Arten von VPC-Netzwerken mit RDMA-Netzwerkprofilen erstellen:

VPC-Netzwerktyp Name der Netzwerkprofilressource Protokoll Unterstützter NIC-Typ Unterstützte Maschinentypen
Falcon-VPC-Netzwerk (Vorschau) ZONE-vpc-falcon RDMA über Falcon-Transport IRDMA
RoCE-VPC-Netzwerk ZONE-vpc-roce RDMA over Converged Ethernet v2 (RoCE v2) MRDMA

Unterstützte Zonen

RDMA-Netzwerkprofile sind nur in einer begrenzten Anzahl von Zonen verfügbar. Sie können ein Falcon-VPC-Netzwerk oder ein RoCE-VPC-Netzwerk nur in einer Zone erstellen, in der das entsprechende Netzwerkprofil verfügbar ist.

Eine Liste der unterstützten Zonen finden Sie unter Netzwerkprofile auflisten.

Alternativ können Sie sich die unterstützten Zonen für den Maschinentyp ansehen, den Sie im Netzwerk erstellen möchten. RDMA-Netzwerkprofile sind in denselben Zonen wie die unterstützten Maschinentypen verfügbar. Hier finden Sie weitere Informationen:

Spezifikationen

Für VPC-Netzwerke, die mit einem RDMA-Netzwerkprofil erstellt wurden, gelten die folgenden Spezifikationen:

  • Zonale Einschränkung. Ressourcen, die ein VPC-Netzwerk mit einem RDMA-Netzwerkprofil verwenden, sind auf dieselbe Zone beschränkt wie das RDMA-Netzwerkprofil, das dem VPC-Netzwerk bei der Netzwerkerstellung zugeordnet wurde. Dieses zonale Limit hat folgende Auswirkungen:

    • Alle Instanzen mit Netzwerkschnittstellen im VPC-Netzwerk müssen in der Zone erstellt werden, die der Zone des vom VPC-Netzwerk verwendeten RDMA-Netzwerkprofils entspricht.

    • Alle im VPC-Netzwerk erstellten Subnetze müssen sich in der Region befinden, die die Zone des vom VPC-Netzwerk verwendeten RDMA-Netzwerkprofils enthält.

  • Nur RDMA-Netzwerkschnittstellen: Ein VPC-Netzwerk mit einem RDMA-Netzwerkprofil unterstützt Anhänge nur von bestimmten Netzwerkschnittstellen:

    • Falcon-VPC-Netzwerke unterstützen nur IRDMA-Netzwerkschnittstellen (NICs), die nur auf der H4D-Maschinenserie verfügbar sind.
    • RoCE-VPC-Netzwerke unterstützen nur MRDMA-NICs, die nur in den Maschinenserien A3 Ultra, A4 und A4X verfügbar sind.

    Alle Nicht-RDMA-NICs einer VM-Instanz müssen an ein reguläres VPC-Netzwerk angehängt werden.

  • 8.896 Byte MTU. Für eine optimale Leistung empfehlen wir eine maximale Übertragungseinheit (MTU) von 8896 Byte für VPC-Netzwerke mit einem RDMA-Netzwerkprofil. So kann der RDMA-Treiber im Gastbetriebssystem der VM bei Bedarf kleinere MTUs verwenden.

    Wenn Sie ein VPC-Netzwerk mit einem RDMA-Netzwerkprofil mit der gcloud CLI oder der API erstellen, ist 8896 Byte die Standard-MTU. Wenn Sie die Google Cloud Console verwenden, müssen Sie den MTU-Wert auf 8896 festlegen.

  • Firewall-Unterschiede Hier finden Sie Informationen zu Firewallunterschieden in VPC-Netzwerken mit einem RDMA-Netzwerkprofil:

    • Für VPC-Netzwerke mit einem RDMA-Netzwerkprofil werden die folgenden impliziten Firewallregeln verwendet, die sich von den impliziten Firewallregeln für reguläre VPC-Netzwerke unterscheiden:

      • Implizites Zulassen von ausgehendem Traffic
      • Implizites Zulassen von eingehendem Traffic

    • Die Unterstützung von Cloud NGFW hängt vom Typ des VPC-Netzwerks ab:

      • RoCE-VPC-Netzwerke unterstützen nur regionale Netzwerk-Firewallrichtlinien mit dem Firewallrichtlinientyp „RoCE“. Die Parameter für Regeln in einer unterstützten regionalen Netzwerk-Firewallrichtlinie sind begrenzt. Weitere Informationen finden Sie unter Cloud NGFW für RoCE-VPC-Netzwerke.
      • In Falcon-VPC-Netzwerken können keine Cloud NGFW-Regeln oder -Richtlinien konfiguriert werden.

  • Keine Unterstützung für Konnektivitätstests: Konnektivitätstests unterstützen keine VPC-Netzwerke mit einem RDMA-Netzwerkprofil.

  • Weitere VPC-Funktionen VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen nur eine begrenzte Anzahl anderer VPC-Funktionen. Weitere Informationen finden Sie im folgenden Abschnitt Unterstützte und nicht unterstützte Funktionen.

Unterstützte und nicht unterstützte Funktionen

In der folgenden Tabelle sind die VPC-Funktionen aufgeführt, die von VPC-Netzwerken mit einem RDMA-Netzwerkprofil unterstützt werden.

Funktion Unterstützt Attribut des Netzwerkprofils Attributwert des Netzwerkprofils Details
RDMA-NICs interfaceTypes MRDMA oder IRDMA

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen nur den NIC-Typ, der dem RDMA-Netzwerkprofil entspricht:

  • IRDMA für Falcon-VPC-Netzwerke
  • MRDMA für RoCE-VPC-Netzwerke

Andere NIC-Typen wie GVNIC oder VIRTIO_NET werden nicht unterstützt.
Mehrere NICs im selben Netzwerk allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen VMs mit mehreren NICs. Dadurch können sich zwei oder mehr RDMA-NICs derselben VM im selben VPC-Netzwerk befinden. Jede NIC muss an ein eindeutiges Subnetz im VPC-Netzwerk angehängt werden.

Weitere Informationen finden Sie unter Überlegungen zu mehreren NICs für RoCE-VPC-Netzwerke.
Nur-IPv4-Subnetze subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen reine IPv4-Subnetze, einschließlich der gleichen gültigen IPv4-Bereiche wie reguläre VPC-Netzwerke.

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Dual-Stack- oder Nur-IPv6-Subnetze. Weitere Informationen finden Sie unter Subnetztypen.
PRIVATE Subnetzzweck subnetworkPurposes SUBNET_PURPOSE_PRIVATE

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen reguläre Subnetze mit dem Attributwert PRIVATE für purpose.

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Private Service Connect-Subnetze, Proxy-only-Subnetze oder Private NAT-Subnetze. Weitere Informationen finden Sie unter Zwecke von Subnetzen.
GCE_ENDPOINT-Adresszweck addressPurposes GCE_ENDPOINT

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen IP-Adressen mit dem Attributwert GCE_ENDPOINT für purpose, der von internen IP-Adressen von VM-NICs verwendet wird.

VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine IP-Adressen für spezielle Zwecke, z. B. für SHARED_LOADBALANCER_VIP. Weitere Informationen finden Sie in der Referenz zur Ressource „addresses“.
Anhänge von nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED In VPC-Netzwerken mit einem RDMA-Netzwerkprofil wird das Anhängen der nic0-Netzwerkschnittstellen einer VM an das Netzwerk nicht unterstützt. Jede RDMA-NIC, die mit dem VPC-Netzwerk verbunden ist, darf nicht nic0 sein.
Externe IP-Adressen für VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED In VPC-Netzwerken mit einem RDMA-Netzwerkprofil kann RDMA-NICs keine externe IP-Adresse zugewiesen werden. Daher haben RDMA-NICs keinen Internetzugang.
Dynamic Network Interfaces allowSubInterfaces SUBINTERFACES_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine dynamischen NICs.
Alias-IP-Bereiche allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED In VPC-Netzwerken mit einem RDMA-Netzwerkprofil können RDMA-NICs keine Alias-IP-Bereiche zugewiesen werden.
IP-Weiterleitung allowIpForwarding IP_FORWARDING_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen IP-Weiterleitung nicht.
VM-Netzwerkmigration allowNetworkMigration NETWORK_MIGRATION_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Migration von VM-NICs zwischen Netzwerken.
Automatikmodus allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil können keine Netzwerke im automatischen Modus sein. Weitere Informationen finden Sie unter Modus für Subnetzerstellung.
VPC-Netzwerk-Peering allowVpcPeering VPC_PEERING_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Verbindung zu anderen VPC-Netzwerken über VPC-Netzwerk-Peering. Daher wird in VPC-Netzwerken mit einem RDMA-Netzwerkprofil keine Verbindung zu Diensten über den Zugriff auf private Dienste unterstützt.
Statische Routen allowStaticRoutes STATIC_ROUTES_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine statischen Routen.
Paketspiegelung allowPacketMirroring PACKET_MIRRORING_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Paketspiegelung.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen Cloud NAT nicht.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Cloud Router und dynamischen Routen.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Cloud Interconnect-VLAN-Anhänge.
Cloud VPN allowVpn VPN_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keine Cloud VPN-Tunnel.
Network Connectivity Center allowNcc NCC_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen Network Connectivity Center nicht. Sie können ein VPC-Netzwerk mit einem RDMA-Netzwerkprofil nicht als VPC-Spoke zu einem Network Connectivity Center-Hub hinzufügen.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen kein Cloud Load Balancing. Daher werden in VPC-Netzwerken mit einem RDMA-Netzwerkprofil keine Load-Balancer-Funktionen unterstützt, einschließlich Google Cloud Armor.
Privater Google-Zugriff allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen keinen privaten Google-Zugriff.
Private Service Connect allowPsc PSC_BLOCKED VPC-Netzwerke mit einem RDMA-Netzwerkprofil unterstützen Private Service Connect nicht.

Überlegungen zu mehreren NICs für RoCE-VPC-Netzwerke

Zur Unterstützung von Arbeitslasten, die von der GPU-zu-GPU-Kommunikation über mehrere Rails hinweg profitieren, unterstützen RoCE-VPC-Netzwerke VMs mit mehreren MRDMA-NICs im Netzwerk. Jede MRDMA-NIC muss sich in einem eindeutigen Subnetz befinden. Wenn Sie zwei oder mehr MRDMA-NICs im selben RoCE-VPC-Netzwerk platzieren, kann sich dies auf die Netzwerkleistung auswirken, z. B. durch eine erhöhte Latenz. MRDMA NICs use NCCL. NCCL versucht, alle Netzwerkübertragungen auszurichten, auch für die Kommunikation zwischen den Rails. PXN verwendet beispielsweise NVLink, um Daten auf eine schienenkompatible GPU zu kopieren, bevor sie über das Netzwerk übertragen werden.

Nächste Schritte