Perfil de red de RDMA RoCE
En esta página, se proporciona una descripción general del perfil de red de acceso directo a la memoria remoto (RDMA) a través de Ethernet convergida (RoCE) en Google Cloud.
Descripción general
El perfil de red de RDMA RoCE te permite crear una red de nube privada virtual (VPC) que proporciona comunicación de RDMA de alta capacidad de procesamiento y baja latencia entre las GPUs de las VMs que se crean en la red con el protocolo RoCE v2. Una red de VPC que usa el perfil de red RoCE se denomina red de VPC de RoCE.
Las redes de VPC de RoCE son útiles para ejecutar cargas de trabajo de IA. Para obtener más información sobre la ejecución de cargas de trabajo de IA en Google Cloud, consulta la descripción general de AI Hypercomputer.
El nombre del recurso de un perfil de red RoCE tiene el siguiente formato:
ZONE-vpc-roce
, por ejemplo, europe-west1-b-vpc-roce
.
Para ver nombres de perfiles de red específicos, consulta Cómo enumerar perfiles de red.
Zonas admitidas
El perfil de red de RoCE está disponible en un conjunto limitado de zonas. Solo puedes crear una red de VPC de RoCE en una zona en la que esté disponible el perfil de red de RoCE.
Para ver las zonas admitidas, consulta cómo enumerar los perfiles de red.
También puedes ver las zonas admitidas para el tipo de máquina con GPU que deseas crear en la red de VPC con RoCE. El perfil de red RoCE está disponible en las mismas zonas que los tipos de máquinas compatibles que se describen en Especificaciones. Para obtener más información, consulta Regiones y zonas disponibles para GPU.
Especificaciones
Las redes de VPC de RoCE tienen las siguientes especificaciones:
NICs NVIDIA ConnectX. Las NIC de NVIDIA ConnectX aparecen como interfaces de red
MRDMA
en Google Cloud.Restricción zonal. Los recursos que usan una red de VPC de RoCE se limitan a la misma zona que el perfil de red de RoCE asociado con la red de VPC de RoCE durante la creación de la red de RoCE. Este límite zonal tiene los siguientes efectos:
Todas las instancias que tienen interfaces de red en una red de VPC de RoCE deben crearse en la zona que coincide con la zona del perfil de red de RoCE que usa la red de VPC de RoCE.
Todas las subredes creadas en una red de VPC de RoCE deben ubicarse en la región que contiene la zona del perfil de red de RoCE que usa la red de VPC de RoCE.
Solo interfaces de red de MRDMA. Las redes de VPC de RoCE solo admiten interfaces de red (NIC) de
MRDMA
, que solo están disponibles en las series de máquinas A3 Ultra, A4 y A4X.Todas las NIC que no sean de MRDMA de una instancia de máquina virtual (VM) deben estar conectadas a una red de VPC normal.
MTU de 8896 bytes. Para obtener el mejor rendimiento, recomendamos una unidad de transmisión máxima (MTU) de
8896
bytes para las redes de VPC de RoCE. Esto permite que el controlador de RDMA en el sistema operativo invitado de la VM use MTU más pequeñas si es necesario.Si creas una red de VPC de RoCE con gcloud CLI o la API, la MTU predeterminada es de
8896
bytes. Si creas una red de VPC de RoCE con la consola de Google Cloud , debes establecer la MTU en8896
.Diferencias de firewall Las redes de VPC de RoCE usan diferentes reglas de firewall implícitas. Solo admiten políticas de firewall de red regionales que tienen un tipo de política de firewall de RoCE. El conjunto de parámetros para las reglas dentro de una política de firewall de red regional admitida es limitado. Para obtener más información, consulta Cloud NGFW para redes de VPC de RoCE.
No se admiten las pruebas de conectividad. Las pruebas de conectividad no admiten redes de VPC de RoCE.
Otras funciones de la VPC Las redes de VPC de RoCE admiten un conjunto limitado de otras funciones de VPC. Para obtener más información, consulta la siguiente sección Funciones compatibles y no compatibles.
Funciones compatibles y no compatibles
En la siguiente tabla, se enumeran las funciones de VPC que admiten las redes de VPC con RoCE.
Función | Admitido | Propiedad del perfil de red | Valor de la propiedad del perfil de red | Detalles |
---|---|---|---|---|
MRDMA NIC |
interfaceTypes |
MRDMA |
Las redes de VPC de RoCE solo admiten NIC |
|
Varias NIC en la misma red | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
Las redes de VPC de RoCE admiten VMs de varias NIC, lo que permite que dos o más NIC de VM de Consulta Consideraciones sobre varias NIC en redes de VPC de RoCE. |
|
Subredes solo IPv4 | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
Las redes de VPC de RoCE admiten subredes solo IPv4, incluidos los mismos rangos de IPv4 válidos que las redes de VPC normales. Las redes de VPC de RoCE no admiten subredes de pila doble ni solo IPv6. Para obtener más información, consulta Tipos de subredes. |
|
Propósito de la subred PRIVATE |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
Las redes de VPC de RoCE admiten subredes normales, que tienen un valor de atributo Las redes de VPC de RoCE no admiten subredes de Private Service Connect, subredes solo de proxy ni subredes de NAT privada. Para obtener más información, consulta Propósitos de las subredes. |
|
Propósito de la dirección de GCE_ENDPOINT |
addressPurposes |
GCE_ENDPOINT |
Las redes de VPC de RoCE admiten direcciones IP con un valor de atributo Las redes de VPC de RoCE no admiten direcciones IP de propósito especial, como el propósito |
|
Archivos adjuntos de nic0 |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
Las redes de VPC de RoCE no admiten la conexión de las interfaces de red de una VM a la red.nic0 Cada NIC de MRDMA adjunta a una red de VPC de RoCE no debe ser de nic0 . |
|
Direcciones IP externas para VMs | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
Las redes de VPC de RoCE no admiten la asignación de direcciones IP externas a las NIC de las VMs de MDRMA . Por lo tanto, las NIC de las VMs de MDRMA no tienen acceso a Internet. |
|
Interfaces de red dinámicas | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
Las redes de VPC de RoCE no admiten NIC dinámicas. | |
Rangos de alias de IP | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
Las redes de VPC de RoCE no admiten la asignación de rangos de IP de alias a las NIC de MRDMA . |
|
Reenvío de IP | allowIpForwarding |
IP_FORWARDING_BLOCKED |
Las redes de VPC de RoCE no admiten el reenvío de IP. | |
Migración de red de VM | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
Las redes de VPC de RoCE no admiten la migración de NIC de VMs entre redes. | |
Modo automático | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
Las redes de VPC de RoCE no pueden ser redes en modo automático. Para obtener más información, consulta Modo de creación de subredes. | |
Intercambio de tráfico entre redes de VPC | allowVpcPeering |
VPC_PEERING_BLOCKED |
Las redes de VPC de RoCE no admiten la conexión a otras redes de VPC a través del intercambio de tráfico entre redes de VPC. En consecuencia, las redes de VPC de RoCE no admiten la conexión a servicios a través del acceso a servicios privados. | |
Rutas estáticas | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
Las redes de VPC de RoCE no admiten rutas estáticas. | |
Duplicación de paquetes | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
Las redes de VPC de RoCE no admiten la duplicación de paquetes. | |
Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud NAT. | |
Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud Routers ni rutas dinámicas. | |
Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
Las redes de VPC de RoCE no admiten adjuntos de VLAN de Cloud Interconnect. | |
Cloud VPN | allowVpn |
VPN_BLOCKED |
Las redes de VPC de RoCE no admiten túneles de Cloud VPN. | |
Network Connectivity Center | allowNcc |
NCC_BLOCKED |
Las redes de VPC de RoCE no son compatibles con Network Connectivity Center. No puedes agregar una red de VPC de RoCE como radio de VPC a un concentrador de Network Connectivity Center. | |
Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
Las redes de VPC de RoCE no admiten Cloud Load Balancing. Por lo tanto, las redes de VPC de RoCE no admiten funciones de balanceador de cargas, incluido Google Cloud Armor. | |
Acceso privado a Google | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
Las redes de VPC de RoCE no admiten el Acceso privado a Google. | |
Private Service Connect | allowPsc |
PSC_BLOCKED |
Las redes de VPC de RoCE no admiten Private Service Connect. |
Consideraciones sobre varias NIC de la red de VPC de RoCE
Para admitir cargas de trabajo que se benefician de la comunicación entre GPU a través de diferentes carriles, las redes de VPC de RoCE admiten VMs que tienen varias NIC MRDMA
en la red. Cada NIC MRDMA
debe estar en una subred única. Colocar dos o más NIC MRDMA
en la misma red de VPC de RoCE podría afectar el rendimiento de la red, incluida una mayor latencia. MRDMA
Las NICs usan NCCL. NCCL intenta alinear todas las transferencias de red, incluso para la comunicación entre carriles. Por ejemplo, usa PXN para copiar datos a través de NVLink a una GPU alineada con el riel antes de transferirlos a través de la red.
¿Qué sigue?
- Perfiles de red para casos de uso específicos
- Crea una red de VPC para las NIC de RDMA
- Cloud NGFW para redes de VPC de RoCE