Profil réseau RDMA RoCE

Cette page présente le profil réseau Remote Direct Memory Access (RDMA) over Converged Ethernet (RoCE) dans Google Cloud.

Présentation

Le profil de réseau RDMA RoCE vous permet de créer un réseau de cloud privé virtuel (VPC) qui fournit une communication RDMA à faible latence et à bande passante élevée entre les GPU des VM créées dans le réseau à l'aide du protocole RoCE v2. Un réseau VPC qui utilise le profil réseau RoCE est appelé réseau VPC RoCE.

Les réseaux VPC RoCE sont utiles pour exécuter des charges de travail d'IA. Pour en savoir plus sur l'exécution de charges de travail d'IA dans Google Cloud, consultez la présentation d'AI Hypercomputer.

Le nom de ressource d'un profil de réseau RoCE est au format suivant : ZONE-vpc-roce (par exemple, europe-west1-b-vpc-roce). Pour afficher des noms de profils réseau spécifiques, consultez Lister les profils réseau.

Zones compatibles

Le profil réseau RoCE n'est disponible que dans certaines zones. Vous ne pouvez créer un réseau VPC RoCE que dans une zone où le profil de réseau RoCE est disponible.

Pour afficher les zones compatibles, consultez la section Lister les profils réseau.

Vous pouvez également afficher les zones compatibles avec le type de machine GPU que vous souhaitez créer dans le réseau VPC RoCE. Le profil réseau RoCE est disponible dans les mêmes zones que les types de machines compatibles décrits dans Spécifications. Pour en savoir plus, consultez Régions et zones où les GPU sont disponibles.

Spécifications

Les réseaux VPC RoCE présentent les spécifications suivantes :

  • Cartes d'interface réseau NVIDIA ConnectX. Les cartes d'interface réseau NVIDIA ConnectX apparaissent en tant qu'interfaces réseau MRDMA dans Google Cloud.

  • Contrainte zonale. Les ressources utilisant un réseau VPC RoCE sont limitées à la même zone que le profil de réseau RoCE associé au réseau VPC RoCE lors de la création du réseau RoCE. Cette limite zonale a les effets suivants :

    • Toutes les instances disposant d'interfaces réseau dans un réseau VPC RoCE doivent être créées dans la zone correspondant à celle du profil réseau RoCE utilisé par le réseau VPC RoCE.

    • Tous les sous-réseaux créés dans un réseau VPC RoCE doivent se trouver dans la région qui contient la zone du profil de réseau RoCE utilisé par le réseau VPC RoCE.

  • Interfaces réseau MRDMA uniquement. Les réseaux VPC RoCE ne sont compatibles qu'avec les cartes d'interface réseau (NIC) MRDMA, qui ne sont disponibles que sur les séries de machines A3 Ultra, A4 et A4X.

    Toutes les cartes d'interface réseau non MR-DMA d'une instance de machine virtuelle (VM) doivent être associées à un réseau VPC standard.

  • MTU de 8 896 octets. Pour des performances optimales, nous recommandons une unité de transmission maximale (MTU) de 8896 octets pour les réseaux VPC RoCE. Cela permet au pilote RDMA du système d'exploitation invité de la VM d'utiliser des MTU plus petites si nécessaire.

    Si vous créez un réseau VPC RoCE à l'aide de la gcloud CLI ou de l'API, la MTU par défaut est de 8896 octets. Si vous créez un réseau VPC RoCE à l'aide de la console Google Cloud , vous devez définir la MTU sur 8896.

  • Différences entre les pare-feu Les réseaux VPC RoCE utilisent des règles de pare-feu implicites différentes. Elles n'acceptent que les stratégies de pare-feu réseau régionales de type RoCE. L'ensemble des paramètres des règles d'une stratégie de pare-feu de réseau régionale compatible est limité. Pour en savoir plus, consultez Cloud NGFW pour les réseaux VPC RoCE.

  • Les tests de connectivité ne sont pas compatibles. Les tests de connectivité ne sont pas compatibles avec les réseaux VPC RoCE.

  • Autres fonctionnalités du VPC Les réseaux VPC RoCE sont compatibles avec un ensemble limité d'autres fonctionnalités VPC. Pour en savoir plus, consultez la section Fonctionnalités compatibles et non compatibles.

Fonctionnalités compatibles et non compatibles

Le tableau suivant indique les fonctionnalités VPC compatibles avec les réseaux VPC RoCE.

Fonctionnalité Compatible Propriété de profil réseau Valeur de la propriété du profil réseau Détails
MRDMA Cartes d'interface réseau interfaceTypes MRDMA

Les réseaux VPC RoCE ne sont compatibles qu'avec les cartes d'interface réseau MRDMA, et non avec d'autres types, tels que GVNIC ou VIRTIO_NET.
Plusieurs cartes d'interface réseau sur le même réseau allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Les réseaux VPC RoCE sont compatibles avec les VM à plusieurs cartes d'interface réseau, ce qui permet à deux cartes d'interface réseau de VM MRDMA ou plus de se trouver dans le même réseau VPC RoCE. Chaque carte d'interface réseau doit être associée à un sous-réseau unique du réseau VPC RoCE.

Consultez Considérations concernant les cartes réseau multiples pour le réseau VPC RoCE.
Sous-réseaux IPv4 uniquement subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Les réseaux VPC RoCE sont compatibles avec les sous-réseaux IPv4 uniquement, y compris les mêmes plages IPv4 valides que les réseaux VPC standards.

Les réseaux VPC RoCE ne sont pas compatibles avec les sous-réseaux à double pile ni IPv6 uniquement. Pour en savoir plus, consultez Types de sous-réseaux.
Objectif du sous-réseau PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Les réseaux VPC RoCE sont compatibles avec les sous-réseaux standards, dont la valeur de l'attribut purpose est PRIVATE.

Les réseaux VPC RoCE ne sont pas compatibles avec les sous-réseaux Private Service Connect, les sous-réseaux proxy uniquement ni les sous-réseaux NAT privés. Pour en savoir plus, consultez Objectifs des sous-réseaux.
Finalité de l'adresse GCE_ENDPOINT addressPurposes GCE_ENDPOINT

Les réseaux VPC RoCE sont compatibles avec les adresses IP dont la valeur de l'attribut purpose est GCE_ENDPOINT, qui est utilisée par les adresses IP internes des cartes d'interface réseau des VM.

Les réseaux VPC RoCE ne sont pas compatibles avec les adresses IP à usage spécial, telles que l'objectif SHARED_LOADBALANCER_VIP. Pour en savoir plus, consultez la documentation de référence sur la ressource address.
Pièces jointes de nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Les réseaux VPC RoCE ne permettent pas d'associer les interfaces réseau nic0 d'une VM au réseau. Chaque carte d'interface réseau MRDMA associée à un réseau VPC RoCE ne doit pas être nic0.
Adresses IP externes pour les VM allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Les réseaux VPC RoCE n'acceptent pas l'attribution d'adresses IP externes aux cartes d'interface réseau de VM MDRMA. Par conséquent, les cartes d'interface réseau de la VM MDRMA n'ont pas accès à Internet.
Interfaces réseau dynamiques allowSubInterfaces SUBINTERFACES_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec les cartes d'interface réseau dynamiques.
Plages d'adresses IP d'alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec l'attribution de plages d'adresses IP d'alias aux cartes d'interface réseau MRDMA.
Transfert IP allowIpForwarding IP_FORWARDING_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec le transfert IP.
Migration de réseau de VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec la migration des cartes d'interface réseau de VM entre les réseaux.
Mode automatique allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Les réseaux VPC RoCE ne peuvent pas être des réseaux en mode automatique. Pour en savoir plus, consultez la section Mode de création du sous-réseau.
Appairage de réseaux VPC allowVpcPeering VPC_PEERING_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec la connexion à d'autres réseaux VPC à l'aide de l'appairage de réseaux VPC. Par conséquent, les réseaux VPC RoCE ne permettent pas de se connecter aux services à l'aide de l'accès aux services privés.
Routes statiques allowStaticRoutes STATIC_ROUTES_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec les routes statiques.
Mise en miroir de paquets allowPacketMirroring PACKET_MIRRORING_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec la mise en miroir de paquets.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec les routeurs Cloud ni les routes dynamiques.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec les rattachements de VLAN Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec les tunnels Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec Network Connectivity Center. Vous ne pouvez pas ajouter un réseau VPC RoCE en tant que spoke VPC à un hub Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec Cloud Load Balancing. Par conséquent, les réseaux VPC RoCE ne sont pas compatibles avec les fonctionnalités d'équilibrage de charge, y compris Google Cloud Armor.
Accès privé à Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec l'accès privé à Google.
Private Service Connect allowPsc PSC_BLOCKED Les réseaux VPC RoCE ne sont pas compatibles avec Private Service Connect.

Considérations concernant les cartes d'interface réseau multiples pour le réseau VPC RoCE

Pour prendre en charge les charges de travail qui bénéficient de la communication GPU à GPU entre rails, les réseaux VPC RoCE sont compatibles avec les VM disposant de plusieurs cartes d'interface réseau MRDMA dans le réseau. Chaque carte d'interface réseau MRDMA doit se trouver dans un sous-réseau unique. Placer deux cartes d'interface réseau MRDMA ou plus dans le même réseau VPC RoCE peut affecter les performances du réseau, y compris en augmentant la latence. Les cartes d'interface réseau utilisent NCCL.MRDMA NCCL tente d'aligner tous les transferts réseau, même pour les communications inter-rails. Par exemple, il utilise PXN pour copier des données via NVLink vers un GPU aligné sur un rail avant de les transférer sur le réseau.

Étapes suivantes