Perfil de red RDMA RoCE
En esta página se ofrece una descripción general del perfil de red Acceso directo a memoria remoto (RDMA) sobre Ethernet convergente (RoCE) en Google Cloud.
Información general
El perfil de red RDMA RoCE te permite crear una red de nube privada virtual (VPC) que proporciona una comunicación RDMA de baja latencia y alto ancho de banda entre las GPUs de las VMs creadas en la red mediante el protocolo RoCE v2. Una red de VPC que usa el perfil de red RoCE se denomina red de VPC RoCE.
Las redes de VPC de RoCE son útiles para ejecutar cargas de trabajo de IA. Para obtener más información sobre cómo ejecutar cargas de trabajo de IA en Google Cloud, consulta el resumen de AI Hypercomputer.
El nombre de recurso de un perfil de red RoCE tiene el siguiente formato:ZONE-vpc-roce
. Por ejemplo, europe-west1-b-vpc-roce
.
Para ver nombres de perfiles de red específicos, consulta Listar perfiles de red.
Zonas admitidas
El perfil de red RoCE está disponible en un conjunto limitado de zonas. Solo puedes crear una red de VPC RoCE en una zona en la que esté disponible el perfil de red RoCE.
Para ver las zonas admitidas, consulta la lista de perfiles de red.
También puedes ver las zonas admitidas para el tipo de máquina con GPU que quieras crear en la red VPC de RoCE. El perfil de red RoCE está disponible en las mismas zonas que los tipos de máquinas compatibles que se describen en Especificaciones. Para obtener más información, consulta el artículo sobre regiones y zonas en las que están disponibles las GPUs.
Especificaciones
Las redes de VPC de RoCE tienen las siguientes especificaciones:
Tarjetas de interfaz de red NVIDIA ConnectX. Las NICs NVIDIA ConnectX aparecen como
MRDMA
interfaces de red Google Cloud.Restricción de zona. Los recursos que usan una red de VPC RoCE están limitados a la misma zona que el perfil de red RoCE asociado a la red de VPC RoCE durante la creación de la red RoCE. Este límite zonal tiene los siguientes efectos:
Todas las instancias que tengan interfaces de red en una red de VPC RoCE deben crearse en la zona que coincida con la zona del perfil de red RoCE que use la red de VPC RoCE.
Todas las subredes creadas en una red de VPC de RoCE deben estar ubicadas en la región que contiene la zona del perfil de red de RoCE que usa la red de VPC de RoCE.
Solo interfaces de red MRDMA. Las redes de VPC de RoCE solo admiten
MRDMA
interfaces de red (NICs), que solo están disponibles en las series de máquinas A3 Ultra, A4 y A4X.Todas las NICs que no sean de MRDMA de una instancia de máquina virtual (VM) deben estar conectadas a una red de VPC normal.
MTU de 8896 bytes. Para obtener el mejor rendimiento, recomendamos una unidad de transmisión máxima (MTU) de
8896
bytes para las redes de VPC de RoCE. De esta forma, el controlador RDMA del sistema operativo invitado de la VM puede usar MTUs más pequeños si es necesario.Si creas una red de VPC RoCE mediante la CLI de gcloud o la API, el MTU predeterminado es de
8896
bytes. Si creas una red VPC de RoCE mediante la Google Cloud consola, debes definir el MTU en8896
.Diferencias entre cortafuegos. Las redes de VPC de RoCE usan reglas de cortafuegos implícitas diferentes. Solo admiten políticas de cortafuegos de red regionales que tengan el tipo de política de cortafuegos RoCE. El conjunto de parámetros de las reglas de una política de cortafuegos de red regional admitida es limitado. Para obtener más información, consulta Cloud NGFW para redes de VPC RoCE.
No se admiten pruebas de conectividad. Pruebas de conectividad no admite redes de VPC RoCE.
Otras funciones de VPC. Las redes de VPC de RoCE admiten un conjunto limitado de otras funciones de VPC. Para obtener más información, consulta la sección Funciones admitidas y no admitidas.
Funciones compatibles y no compatibles
En la siguiente tabla se indican las funciones de VPC que admiten las redes de VPC RoCE.
Función | Compatible | Propiedad de perfil de red | Valor de la propiedad de perfil de red | Detalles |
---|---|---|---|---|
MRDMA NICs |
interfaceTypes |
MRDMA |
Las redes de VPC RoCE solo admiten NICs |
|
Varias NICs en la misma red | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
Las redes de VPC de RoCE admiten VMs con varias NICs, lo que permite que dos o más NICs de Consulta las consideraciones sobre la configuración multi-NIC de la red de VPC de RoCE. |
|
Subredes solo IPv4 | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
Las redes de VPC de RoCE admiten subredes solo IPv4, incluidos los mismos intervalos de IPv4 válidos que las redes de VPC normales. Las redes de VPC de RoCE no admiten subredes de pila dual ni solo IPv6. Para obtener más información, consulta Tipos de subredes. |
|
PRIVATE objetivo de la subred |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
Las redes de VPC de RoCE admiten subredes normales, que tienen un valor de atributo Las redes de VPC de RoCE no admiten subredes de Private Service Connect, subredes solo proxy ni subredes de NAT privada. Para obtener más información, consulta Usos de las subredes. |
|
GCE_ENDPOINT Propósito de la dirección |
addressPurposes |
GCE_ENDPOINT |
Las redes de VPC de RoCE admiten direcciones IP con un valor de atributo Las redes de VPC de RoCE no admiten direcciones IP de propósito especial, como el propósito |
|
Archivos adjuntos de nic0 |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
Las redes de VPC de RoCE no admiten la conexión de las interfaces de red nic0
de una VM a la red. Cada NIC MRDMA conectada a una red de VPC RoCE no debe ser nic0 . |
|
Direcciones IP externas de las VMs | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
Las redes de VPC de RoCE no admiten la asignación de direcciones IP externas a NICs de MDRMA máquinas virtuales. Por lo tanto, las NICs de las VMs de MDRMA no tienen acceso a Internet. |
|
Interfaces de red dinámicas | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
Las redes de VPC de RoCE no admiten NICs dinámicas. | |
Intervalos de IP de alias | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
Las redes de VPC de RoCE no admiten la asignación de intervalos de IPs de alias a MRDMA
NICs. |
|
Reenvío de IP | allowIpForwarding |
IP_FORWARDING_BLOCKED |
Las redes de VPC de RoCE no admiten el reenvío de IP. | |
Migración de redes de máquinas virtuales | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
Las redes de VPC de RoCE no admiten la migración de NICs de máquinas virtuales entre redes. | |
Modo automático | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
Las redes de VPC RoCE no pueden ser redes de modo automático. Para obtener más información, consulta Modo de creación de subred. | |
Emparejamiento entre redes VPC | allowVpcPeering |
VPC_PEERING_BLOCKED |
Las redes de VPC de RoCE no admiten la conexión a otras redes de VPC mediante el emparejamiento entre redes de VPC. Por lo tanto, las redes de VPC de RoCE no admiten la conexión a servicios mediante el acceso a servicios privados. | |
Rutas estáticas | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
Las redes de VPC RoCE no admiten rutas estáticas. | |
Replicación de paquetes | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
Las redes de VPC de RoCE no admiten la replicación de paquetes. | |
Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud NAT. | |
Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud Routers ni rutas dinámicas. | |
Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
Las redes de VPC de RoCE no admiten vinculaciones de VLAN de Cloud Interconnect. | |
Cloud VPN | allowVpn |
VPN_BLOCKED |
Las redes de VPC de RoCE no admiten túneles de Cloud VPN. | |
Network Connectivity Center | allowNcc |
NCC_BLOCKED |
Las redes de VPC de RoCE no admiten Network Connectivity Center. No puedes añadir una red de VPC RoCE como VPC de radio a un hub de Network Connectivity Center. | |
Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud Load Balancing. Por lo tanto, las redes de VPC de RoCE no admiten las funciones de balanceador de carga, incluida Google Cloud Armor. | |
Acceso privado de Google | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
Las redes de VPC de RoCE no admiten el acceso privado de Google. | |
Private Service Connect | allowPsc |
PSC_BLOCKED |
Las redes de VPC de RoCE no admiten Private Service Connect. |
Consideraciones sobre la configuración multi-NIC de la red de VPC de RoCE
Para admitir cargas de trabajo que se benefician de la comunicación entre GPUs de diferentes carriles, las redes VPC de RoCE admiten VMs que tienen varias MRDMA
NICs en la red. Cada NIC MRDMA
debe estar en una subred única. Colocar dos o más NICs MRDMA
en la misma red de VPC de RoCE puede afectar al rendimiento de la red, incluida una mayor latencia. MRDMA
Las NICs usan NCCL. NCCL intenta alinear todas las transferencias de red, incluso para la comunicación entre carriles. Por ejemplo, usa PXN para copiar datos a través de NVLink a una GPU alineada con el carril antes de transferirlos por la red.
Siguientes pasos
- Perfiles de red para casos prácticos específicos
- Crear una red VPC para NICs RDMA
- NGFW de Cloud para redes de VPC RoCE