Perfil de red de RDMA RoCE

En esta página, se proporciona una descripción general del perfil de red de acceso directo a la memoria remoto (RDMA) a través de Ethernet convergida (RoCE) en Google Cloud.

Descripción general

El perfil de red de RDMA RoCE te permite crear una red de nube privada virtual (VPC) que proporciona comunicación de RDMA de alta capacidad de procesamiento y baja latencia entre las GPUs de las VMs que se crean en la red con el protocolo RoCE v2. Una red de VPC que usa el perfil de red RoCE se denomina red de VPC de RoCE.

Las redes de VPC de RoCE son útiles para ejecutar cargas de trabajo de IA. Para obtener más información sobre la ejecución de cargas de trabajo de IA en Google Cloud, consulta la descripción general de AI Hypercomputer.

El nombre del recurso de un perfil de red RoCE tiene el siguiente formato: ZONE-vpc-roce, por ejemplo, europe-west1-b-vpc-roce. Para ver nombres de perfiles de red específicos, consulta Cómo enumerar perfiles de red.

Zonas admitidas

El perfil de red de RoCE está disponible en un conjunto limitado de zonas. Solo puedes crear una red de VPC de RoCE en una zona en la que esté disponible el perfil de red de RoCE.

Para ver las zonas admitidas, consulta cómo enumerar los perfiles de red.

También puedes ver las zonas admitidas para el tipo de máquina con GPU que deseas crear en la red de VPC con RoCE. El perfil de red RoCE está disponible en las mismas zonas que los tipos de máquinas compatibles que se describen en Especificaciones. Para obtener más información, consulta Regiones y zonas disponibles para GPU.

Especificaciones

Las redes de VPC de RoCE tienen las siguientes especificaciones:

  • NICs NVIDIA ConnectX. Las NIC de NVIDIA ConnectX aparecen como interfaces de red MRDMA en Google Cloud.

  • Restricción zonal. Los recursos que usan una red de VPC de RoCE se limitan a la misma zona que el perfil de red de RoCE asociado con la red de VPC de RoCE durante la creación de la red de RoCE. Este límite zonal tiene los siguientes efectos:

    • Todas las instancias que tienen interfaces de red en una red de VPC de RoCE deben crearse en la zona que coincide con la zona del perfil de red de RoCE que usa la red de VPC de RoCE.

    • Todas las subredes creadas en una red de VPC de RoCE deben ubicarse en la región que contiene la zona del perfil de red de RoCE que usa la red de VPC de RoCE.

  • Solo interfaces de red de MRDMA. Las redes de VPC de RoCE solo admiten interfaces de red (NIC) de MRDMA, que solo están disponibles en las series de máquinas A3 Ultra, A4 y A4X.

    Todas las NIC que no sean de MRDMA de una instancia de máquina virtual (VM) deben estar conectadas a una red de VPC normal.

  • MTU de 8896 bytes. Para obtener el mejor rendimiento, recomendamos una unidad de transmisión máxima (MTU) de 8896 bytes para las redes de VPC de RoCE. Esto permite que el controlador de RDMA en el sistema operativo invitado de la VM use MTU más pequeñas si es necesario.

    Si creas una red de VPC de RoCE con gcloud CLI o la API, la MTU predeterminada es de 8896 bytes. Si creas una red de VPC de RoCE con la consola de Google Cloud , debes establecer la MTU en 8896.

  • Diferencias de firewall Las redes de VPC de RoCE usan diferentes reglas de firewall implícitas. Solo admiten políticas de firewall de red regionales que tienen un tipo de política de firewall de RoCE. El conjunto de parámetros para las reglas dentro de una política de firewall de red regional admitida es limitado. Para obtener más información, consulta Cloud NGFW para redes de VPC de RoCE.

  • No se admiten las pruebas de conectividad. Las pruebas de conectividad no admiten redes de VPC de RoCE.

  • Otras funciones de la VPC Las redes de VPC de RoCE admiten un conjunto limitado de otras funciones de VPC. Para obtener más información, consulta la siguiente sección Funciones compatibles y no compatibles.

Funciones compatibles y no compatibles

En la siguiente tabla, se enumeran las funciones de VPC que admiten las redes de VPC con RoCE.

Función Admitido Propiedad del perfil de red Valor de la propiedad del perfil de red Detalles
MRDMA NIC interfaceTypes MRDMA

Las redes de VPC de RoCE solo admiten NIC MRDMA, no otros tipos, como GVNIC o VIRTIO_NET.

Varias NIC en la misma red allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Las redes de VPC de RoCE admiten VMs de varias NIC, lo que permite que dos o más NIC de VM de MRDMA estén en la misma red de VPC de RoCE. Cada NIC debe adjuntarse a una subred única en la red de VPC de RoCE.

Consulta Consideraciones sobre varias NIC en redes de VPC de RoCE.

Subredes solo IPv4 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Las redes de VPC de RoCE admiten subredes solo IPv4, incluidos los mismos rangos de IPv4 válidos que las redes de VPC normales.

Las redes de VPC de RoCE no admiten subredes de pila doble ni solo IPv6. Para obtener más información, consulta Tipos de subredes.

Propósito de la subred PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Las redes de VPC de RoCE admiten subredes normales, que tienen un valor de atributo purpose de PRIVATE.

Las redes de VPC de RoCE no admiten subredes de Private Service Connect, subredes solo de proxy ni subredes de NAT privada. Para obtener más información, consulta Propósitos de las subredes.

Propósito de la dirección de GCE_ENDPOINT addressPurposes GCE_ENDPOINT

Las redes de VPC de RoCE admiten direcciones IP con un valor de atributo purpose de GCE_ENDPOINT, que usan las direcciones IP internas de las NIC de VM.

Las redes de VPC de RoCE no admiten direcciones IP de propósito especial, como el propósito SHARED_LOADBALANCER_VIP. Para obtener más información, consulta la referencia del recurso de dirección.

Archivos adjuntos de nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Las redes de VPC de RoCE no admiten la conexión de las interfaces de red de una VM a la red.nic0 Cada NIC de MRDMA adjunta a una red de VPC de RoCE no debe ser de nic0.
Direcciones IP externas para VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Las redes de VPC de RoCE no admiten la asignación de direcciones IP externas a las NIC de las VMs de MDRMA. Por lo tanto, las NIC de las VMs de MDRMA no tienen acceso a Internet.
Interfaces de red dinámicas allowSubInterfaces SUBINTERFACES_BLOCKED Las redes de VPC de RoCE no admiten NIC dinámicas.
Rangos de alias de IP allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Las redes de VPC de RoCE no admiten la asignación de rangos de IP de alias a las NIC de MRDMA.
Reenvío de IP allowIpForwarding IP_FORWARDING_BLOCKED Las redes de VPC de RoCE no admiten el reenvío de IP.
Migración de red de VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED Las redes de VPC de RoCE no admiten la migración de NIC de VMs entre redes.
Modo automático allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Las redes de VPC de RoCE no pueden ser redes en modo automático. Para obtener más información, consulta Modo de creación de subredes.
Intercambio de tráfico entre redes de VPC allowVpcPeering VPC_PEERING_BLOCKED Las redes de VPC de RoCE no admiten la conexión a otras redes de VPC a través del intercambio de tráfico entre redes de VPC. En consecuencia, las redes de VPC de RoCE no admiten la conexión a servicios a través del acceso a servicios privados.
Rutas estáticas allowStaticRoutes STATIC_ROUTES_BLOCKED Las redes de VPC de RoCE no admiten rutas estáticas.
Duplicación de paquetes allowPacketMirroring PACKET_MIRRORING_BLOCKED Las redes de VPC de RoCE no admiten la duplicación de paquetes.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Las redes de VPC de RoCE no admiten Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Las redes de VPC de RoCE no admiten Cloud Routers ni rutas dinámicas.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Las redes de VPC de RoCE no admiten adjuntos de VLAN de Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Las redes de VPC de RoCE no admiten túneles de Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Las redes de VPC de RoCE no son compatibles con Network Connectivity Center. No puedes agregar una red de VPC de RoCE como radio de VPC a un concentrador de Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Las redes de VPC de RoCE no admiten Cloud Load Balancing. Por lo tanto, las redes de VPC de RoCE no admiten funciones de balanceador de cargas, incluido Google Cloud Armor.
Acceso privado a Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Las redes de VPC de RoCE no admiten el Acceso privado a Google.
Private Service Connect allowPsc PSC_BLOCKED Las redes de VPC de RoCE no admiten Private Service Connect.

Consideraciones sobre varias NIC de la red de VPC de RoCE

Para admitir cargas de trabajo que se benefician de la comunicación entre GPU a través de diferentes carriles, las redes de VPC de RoCE admiten VMs que tienen varias NIC MRDMA en la red. Cada NIC MRDMA debe estar en una subred única. Colocar dos o más NIC MRDMA en la misma red de VPC de RoCE podría afectar el rendimiento de la red, incluida una mayor latencia. MRDMA Las NICs usan NCCL. NCCL intenta alinear todas las transferencias de red, incluso para la comunicación entre carriles. Por ejemplo, usa PXN para copiar datos a través de NVLink a una GPU alineada con el riel antes de transferirlos a través de la red.

¿Qué sigue?