Perfil de red RDMA RoCE

En esta página se ofrece una descripción general del perfil de red Acceso directo a memoria remoto (RDMA) sobre Ethernet convergente (RoCE) en Google Cloud.

Información general

El perfil de red RDMA RoCE te permite crear una red de nube privada virtual (VPC) que proporciona una comunicación RDMA de baja latencia y alto ancho de banda entre las GPUs de las VMs creadas en la red mediante el protocolo RoCE v2. Una red de VPC que usa el perfil de red RoCE se denomina red de VPC RoCE.

Las redes de VPC de RoCE son útiles para ejecutar cargas de trabajo de IA. Para obtener más información sobre cómo ejecutar cargas de trabajo de IA en Google Cloud, consulta el resumen de AI Hypercomputer.

El nombre de recurso de un perfil de red RoCE tiene el siguiente formato:ZONE-vpc-roce. Por ejemplo, europe-west1-b-vpc-roce. Para ver nombres de perfiles de red específicos, consulta Listar perfiles de red.

Zonas admitidas

El perfil de red RoCE está disponible en un conjunto limitado de zonas. Solo puedes crear una red de VPC RoCE en una zona en la que esté disponible el perfil de red RoCE.

Para ver las zonas admitidas, consulta la lista de perfiles de red.

También puedes ver las zonas admitidas para el tipo de máquina con GPU que quieras crear en la red VPC de RoCE. El perfil de red RoCE está disponible en las mismas zonas que los tipos de máquinas compatibles que se describen en Especificaciones. Para obtener más información, consulta el artículo sobre regiones y zonas en las que están disponibles las GPUs.

Especificaciones

Las redes de VPC de RoCE tienen las siguientes especificaciones:

  • Tarjetas de interfaz de red NVIDIA ConnectX. Las NICs NVIDIA ConnectX aparecen como MRDMAinterfaces de red Google Cloud.

  • Restricción de zona. Los recursos que usan una red de VPC RoCE están limitados a la misma zona que el perfil de red RoCE asociado a la red de VPC RoCE durante la creación de la red RoCE. Este límite zonal tiene los siguientes efectos:

    • Todas las instancias que tengan interfaces de red en una red de VPC RoCE deben crearse en la zona que coincida con la zona del perfil de red RoCE que use la red de VPC RoCE.

    • Todas las subredes creadas en una red de VPC de RoCE deben estar ubicadas en la región que contiene la zona del perfil de red de RoCE que usa la red de VPC de RoCE.

  • Solo interfaces de red MRDMA. Las redes de VPC de RoCE solo admiten MRDMA interfaces de red (NICs), que solo están disponibles en las series de máquinas A3 Ultra, A4 y A4X.

    Todas las NICs que no sean de MRDMA de una instancia de máquina virtual (VM) deben estar conectadas a una red de VPC normal.

  • MTU de 8896 bytes. Para obtener el mejor rendimiento, recomendamos una unidad de transmisión máxima (MTU) de 8896 bytes para las redes de VPC de RoCE. De esta forma, el controlador RDMA del sistema operativo invitado de la VM puede usar MTUs más pequeños si es necesario.

    Si creas una red de VPC RoCE mediante la CLI de gcloud o la API, el MTU predeterminado es de 8896 bytes. Si creas una red VPC de RoCE mediante la Google Cloud consola, debes definir el MTU en 8896.

  • Diferencias entre cortafuegos. Las redes de VPC de RoCE usan reglas de cortafuegos implícitas diferentes. Solo admiten políticas de cortafuegos de red regionales que tengan el tipo de política de cortafuegos RoCE. El conjunto de parámetros de las reglas de una política de cortafuegos de red regional admitida es limitado. Para obtener más información, consulta Cloud NGFW para redes de VPC RoCE.

  • No se admiten pruebas de conectividad. Pruebas de conectividad no admite redes de VPC RoCE.

  • Otras funciones de VPC. Las redes de VPC de RoCE admiten un conjunto limitado de otras funciones de VPC. Para obtener más información, consulta la sección Funciones admitidas y no admitidas.

Funciones compatibles y no compatibles

En la siguiente tabla se indican las funciones de VPC que admiten las redes de VPC RoCE.

Función Compatible Propiedad de perfil de red Valor de la propiedad de perfil de red Detalles
MRDMA NICs interfaceTypes MRDMA

Las redes de VPC RoCE solo admiten NICs MRDMA, no otros tipos, como GVNIC o VIRTIO_NET.

Varias NICs en la misma red allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Las redes de VPC de RoCE admiten VMs con varias NICs, lo que permite que dos o más NICs de MRDMA VMs estén en la misma red de VPC de RoCE. Cada NIC debe conectarse a una subred única de la red de VPC de RoCE.

Consulta las consideraciones sobre la configuración multi-NIC de la red de VPC de RoCE.

Subredes solo IPv4 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Las redes de VPC de RoCE admiten subredes solo IPv4, incluidos los mismos intervalos de IPv4 válidos que las redes de VPC normales.

Las redes de VPC de RoCE no admiten subredes de pila dual ni solo IPv6. Para obtener más información, consulta Tipos de subredes.

PRIVATE objetivo de la subred subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Las redes de VPC de RoCE admiten subredes normales, que tienen un valor de atributo purpose de PRIVATE.

Las redes de VPC de RoCE no admiten subredes de Private Service Connect, subredes solo proxy ni subredes de NAT privada. Para obtener más información, consulta Usos de las subredes.

GCE_ENDPOINT Propósito de la dirección addressPurposes GCE_ENDPOINT

Las redes de VPC de RoCE admiten direcciones IP con un valor de atributo purpose de GCE_ENDPOINT, que utilizan las direcciones IP internas de las NICs de las máquinas virtuales.

Las redes de VPC de RoCE no admiten direcciones IP de propósito especial, como el propósito SHARED_LOADBALANCER_VIP. Para obtener más información, consulta la referencia del recurso address.

Archivos adjuntos de nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Las redes de VPC de RoCE no admiten la conexión de las interfaces de red nic0 de una VM a la red. Cada NIC MRDMA conectada a una red de VPC RoCE no debe ser nic0.
Direcciones IP externas de las VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Las redes de VPC de RoCE no admiten la asignación de direcciones IP externas a NICs de MDRMAmáquinas virtuales. Por lo tanto, las NICs de las VMs de MDRMA no tienen acceso a Internet.
Interfaces de red dinámicas allowSubInterfaces SUBINTERFACES_BLOCKED Las redes de VPC de RoCE no admiten NICs dinámicas.
Intervalos de IP de alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Las redes de VPC de RoCE no admiten la asignación de intervalos de IPs de alias a MRDMA NICs.
Reenvío de IP allowIpForwarding IP_FORWARDING_BLOCKED Las redes de VPC de RoCE no admiten el reenvío de IP.
Migración de redes de máquinas virtuales allowNetworkMigration NETWORK_MIGRATION_BLOCKED Las redes de VPC de RoCE no admiten la migración de NICs de máquinas virtuales entre redes.
Modo automático allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Las redes de VPC RoCE no pueden ser redes de modo automático. Para obtener más información, consulta Modo de creación de subred.
Emparejamiento entre redes VPC allowVpcPeering VPC_PEERING_BLOCKED Las redes de VPC de RoCE no admiten la conexión a otras redes de VPC mediante el emparejamiento entre redes de VPC. Por lo tanto, las redes de VPC de RoCE no admiten la conexión a servicios mediante el acceso a servicios privados.
Rutas estáticas allowStaticRoutes STATIC_ROUTES_BLOCKED Las redes de VPC RoCE no admiten rutas estáticas.
Replicación de paquetes allowPacketMirroring PACKET_MIRRORING_BLOCKED Las redes de VPC de RoCE no admiten la replicación de paquetes.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Las redes de VPC de RoCE no admiten Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Las redes de VPC de RoCE no admiten Cloud Routers ni rutas dinámicas.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Las redes de VPC de RoCE no admiten vinculaciones de VLAN de Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Las redes de VPC de RoCE no admiten túneles de Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Las redes de VPC de RoCE no admiten Network Connectivity Center. No puedes añadir una red de VPC RoCE como VPC de radio a un hub de Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Las redes de VPC de RoCE no admiten Cloud Load Balancing. Por lo tanto, las redes de VPC de RoCE no admiten las funciones de balanceador de carga, incluida Google Cloud Armor.
Acceso privado de Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Las redes de VPC de RoCE no admiten el acceso privado de Google.
Private Service Connect allowPsc PSC_BLOCKED Las redes de VPC de RoCE no admiten Private Service Connect.

Consideraciones sobre la configuración multi-NIC de la red de VPC de RoCE

Para admitir cargas de trabajo que se benefician de la comunicación entre GPUs de diferentes carriles, las redes VPC de RoCE admiten VMs que tienen varias MRDMA NICs en la red. Cada NIC MRDMA debe estar en una subred única. Colocar dos o más NICs MRDMA en la misma red de VPC de RoCE puede afectar al rendimiento de la red, incluida una mayor latencia. MRDMA Las NICs usan NCCL. NCCL intenta alinear todas las transferencias de red, incluso para la comunicación entre carriles. Por ejemplo, usa PXN para copiar datos a través de NVLink a una GPU alineada con el carril antes de transferirlos por la red.

Siguientes pasos