Máquinas de redes y GPUs

---

Un mayor ancho de banda de red puede mejorar el rendimiento de tus instancias de GPU para admitir cargas de trabajo distribuidas que se ejecutan en Compute Engine.

El ancho de banda de red máximo disponible para las instancias con GPUs conectadas en Compute Engine es el siguiente:

• En las instancias A4X optimizadas para aceleradores, puedes obtener un ancho de banda de red máximo de hasta 2000 Gbps, en función del tipo de máquina.
• En las instancias optimizadas para aceleradores A4 y A3, puedes obtener un ancho de banda de red máximo de hasta 3600 Gbps, en función del tipo de máquina.
• En el caso de las instancias G4 optimizadas para aceleradores, puedes obtener un ancho de banda de red máximo de hasta 400 Gbps, en función del tipo de máquina.
• En las instancias optimizadas para aceleradores A2 y G2, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, en función del tipo de máquina.
• En el caso de las instancias de uso general N1 que tienen conectadas GPUs P100 y P4, se dispone de un ancho de banda de red máximo de 32 Gbps. Es similar a la tasa máxima disponible para las instancias N1 que no tienen GPUs conectadas. Para obtener más información sobre el ancho de banda de la red, consulta la sección sobre la velocidad máxima de datos de salida.
• En el caso de las instancias de uso general N1 que tengan GPUs T4 y V100 conectadas, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, en función de la combinación de GPU y número de vCPUs.

Revisar el ancho de banda de la red y la disposición de las NICs

En la siguiente sección se describe la configuración de red y la velocidad del ancho de banda de cada tipo de máquina con GPU.

Tipos de máquinas A4X

Los tipos de máquinas A4X tienen GPUs NVIDIA B200 conectadas.

Este tipo de máquina tiene cuatro tarjetas de interfaz de red (NICs) NVIDIA ConnectX-7 (CX-7) y dos NICs Titanium. Las cuatro NICs CX-7 ofrecen un ancho de banda de red total de 1600 Gbps. Estas NICs CX-7 están dedicadas únicamente a la comunicación de GPU a GPU de alto ancho de banda y no se pueden usar para otras necesidades de redes, como el acceso público a Internet. Las dos NICs Titanium son NICs inteligentes que proporcionan 400 Gbps adicionales de ancho de banda de red para los requisitos de redes de uso general. En conjunto, las tarjetas de interfaz de red proporcionan un ancho de banda de red máximo total de 2000 Gbps para estas máquinas.

A4X es una plataforma a escala de exaflops basada en la arquitectura a escala de rack NVIDIA GB200 NVL72 e incorpora la arquitectura de superchip NVIDIA Grace Hopper, que ofrece GPUs NVIDIA Hopper y CPUs NVIDIA Grace conectadas con la interconexión de chip a chip (C2C) NVIDIA NVLink de gran ancho de banda.

La arquitectura de red A4X usa un diseño alineado con los raíles, que es una topología en la que la tarjeta de red correspondiente de una instancia de Compute Engine está conectada a la tarjeta de red de otra. Las cuatro NICs CX-7 de cada instancia están aisladas físicamente en una topología de red alineada en 4 direcciones, lo que permite que A4X se escale horizontalmente en grupos de 72 GPUs hasta alcanzar miles de GPUs en un solo clúster sin bloqueos. Este enfoque integrado en el hardware proporciona un rendimiento predecible y de baja latencia, esencial para cargas de trabajo distribuidas a gran escala.

Para usar estas NICs, debes crear tres redes de nube privada virtual de la siguiente manera:

• Dos redes de VPC: cada gVNIC debe conectarse a una red de VPC diferente.
• 1 red de VPC con el perfil de red RDMA: las cuatro NICs CX-7 comparten la misma red de VPC

Para configurar estas redes, consulta el artículo Crear redes de VPC de la documentación de AI Hypercomputer.

						Superchips NVIDIA GB200 Grace Blackwell conectados
Tipo de máquina	Número de vCPUs1	Memoria de la instancia (GB)	SSD local conectada (GiB)	Número de NICs físicas	Ancho de banda de red máximo (Gbps)2	Número de GPUs	Memoria de la GPU3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2000	4	720

Tipos de máquinas A4 y A3 Ultra

Los tipos de máquinas A4 tienen GPUs NVIDIA B200 conectadas y los tipos de máquinas A3 Ultra tienen GPUs NVIDIA H200 conectadas.

Estos tipos de máquina proporcionan ocho tarjetas de interfaz de red (NICs) NVIDIA ConnectX-7 (CX-7) y dos NICs virtuales de Google (gVNIC). Las ocho NICs CX-7 ofrecen un ancho de banda de red total de 3200 Gbps. Estas NICs están dedicadas únicamente a la comunicación de GPU a GPU de alto ancho de banda y no se pueden usar para otras necesidades de redes, como el acceso público a Internet. Como se indica en el siguiente diagrama, cada NIC CX-7 se alinea con una GPU para optimizar el acceso a memoria no uniforme (NUMA). Las ocho GPUs pueden comunicarse rápidamente entre sí mediante el puente NVLink que las conecta. Las otras dos tarjetas de interfaz de red gVNIC son NICs inteligentes que proporcionan 400 Gbps adicionales de ancho de banda de red para requisitos de redes de uso general. En conjunto, las tarjetas de interfaz de red proporcionan un ancho de banda de red máximo total de 3600 Gbps para estas máquinas.

Para usar estas NICs, debes crear tres redes de nube privada virtual de la siguiente manera:

• Dos redes de VPC: cada gVNIC debe conectarse a una red de VPC diferente.
• 1 red de VPC con el perfil de red RDMA: las ocho NICs CX-7 comparten la misma red de VPC

Para configurar estas redes, consulta el artículo Crear redes de VPC de la documentación de AI Hypercomputer.

Tipos de máquinas A3 Mega, High y Edge

Estos tipos de máquinas tienen GPUs H100 conectadas. Cada uno de estos tipos de máquinas tiene un número fijo de GPUs y vCPUs, así como un tamaño de memoria.

• Máquinas virtuales A3 con una sola NIC: en las máquinas virtuales A3 con entre 1 y 4 GPUs conectadas, solo hay disponible una tarjeta de interfaz de red (NIC) física.
• Máquinas virtuales A3 con varias NICs: en las máquinas virtuales A3 con 8 GPUs conectadas, hay disponibles varias NICs físicas. En estos tipos de máquinas A3, las NICs se organizan de la siguiente manera en un bus Peripheral Component Interconnect Express (PCIe):
  • En el tipo de máquina A3 Mega, se puede usar una configuración de NIC de 8+1. Con esta configuración, 8 NICs comparten el mismo bus PCIe y 1 NIC reside en un bus PCIe independiente.
  • En el tipo de máquina A3 High, se puede usar una configuración de NICs de 4+1. Con esta configuración, 4 NICs comparten el mismo bus PCIe y 1 NIC se encuentra en un bus PCIe independiente.
  • Para el tipo de máquina A3 Edge: se puede usar una configuración de NIC de 4+1. Con esta configuración, 4 NICs comparten el mismo bus PCIe y 1 NIC se encuentra en un bus PCIe independiente. Estas 5 NICs proporcionan un ancho de banda de red total de 400 Gbps por cada VM.

  Las NICs que comparten el mismo bus PCIe tienen una alineación de acceso a memoria no uniforme (NUMA) de una NIC por cada dos GPUs NVIDIA H100. Estas NICs son ideales para la comunicación dedicada de GPU a GPU con un ancho de banda alto. La NIC física que reside en un bus PCIe independiente es ideal para otras necesidades de redes. Para obtener instrucciones sobre cómo configurar la red de las máquinas virtuales A3 High y A3 Edge, consulta el artículo sobre cómo configurar redes MTU de jumbo frames.

Tipos de máquinas A2

Cada tipo de máquina A2 tiene un número fijo de GPUs NVIDIA A100 de 40 GB o NVIDIA A100 de 80 GB conectadas. Cada tipo de máquina también tiene un número de vCPUs y un tamaño de memoria fijos.

La serie de máquinas A2 está disponible en dos tipos:

• A2 Ultra: estos tipos de máquinas tienen GPUs A100 de 80 GB y discos SSD locales conectados.
• A2 estándar: estos tipos de máquinas tienen GPUs A100 de 40 GB conectadas.

Tipos de máquinas G4

Los tipos de máquinas G4 optimizadas para aceleradores usan GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) y son adecuados para cargas de trabajo de simulación de NVIDIA Omniverse, aplicaciones con un uso intensivo de gráficos, transcodificación de vídeo y escritorios virtuales. Los tipos de máquinas G4 también ofrecen una solución de bajo coste para realizar inferencias de un solo host y ajustes de modelos en comparación con los tipos de máquinas de la serie A.

						GPUs NVIDIA RTX PRO 6000 conectadas
Tipo de máquina	Número de vCPUs1	Memoria de la instancia (GB)	Máximo de SSD Titanium admitido (GiB)2	Número de NICs físicas	Ancho de banda de red máximo (Gbps)3	Número de GPUs	Memoria de la GPU4 (GB GDDR7)
g4-standard-48	48	180	1500	1	50	1	96
g4-standard-96	96	360	3000	1	100	2	192
g4-standard-192	192	720	6000	1	200	4	384
g4-standard-384	384	1440	12.000	2	400	8	17.

Tipos de máquinas G2

Los tipos de máquinas G2 optimizadas para aceleradores tienen GPUs NVIDIA L4 conectadas y son ideales para cargas de trabajo de inferencia optimizadas para costes, con un uso intensivo de gráficos y de computación de alto rendimiento.

Cada tipo de máquina G2 también tiene una memoria predeterminada y un intervalo de memoria personalizado. El intervalo de memoria personalizado define la cantidad de memoria que puedes asignar a tu instancia para cada tipo de máquina. También puedes añadir discos SSD locales al crear una instancia G2. Para saber el número de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas un número de discos SSD locales.

Para que se apliquen las tasas de ancho de banda de red más altas (50 Gbps o más) a la mayoría de las instancias de GPU, te recomendamos que uses la NIC virtual de Google (gVNIC). Para obtener más información sobre cómo crear instancias de GPU que usen gVNIC, consulta Crear instancias de GPU que usen anchos de banda más altos.

						GPUs NVIDIA L4 conectadas
Tipo de máquina	Número de vCPUs1	Memoria de instancia predeterminada (GB)	Intervalo de memoria de instancia personalizada (GB)	SSD local máxima admitida (GiB)	Ancho de banda de red máximo (Gbps)2	Número de GPUs	Memoria de la GPU3 (GB GDDR6)
g2-standard-4	4	16	De 16 a 32	375	10	1	24
g2-standard-8	8	32	De 32 a 54	375	16	1	24
g2-standard-12	12	48	48-54	375	16	1	24
g2-standard-16	16	64	De 54 a 64	375	32	1	24
g2-standard-24	24	96	De 96 a 108	750	32	2	48
g2-standard-32	32	128	De 96 a 128	375	32	1	24
g2-standard-48	48	192	De 192 a 216	1500	50	4	96
g2-standard-96	96	384	De 384 a 432	3000	100	8	192

Tipos de máquinas N1 con GPU

En el caso de las instancias de uso general N1 que tengan GPUs T4 y V100 conectadas, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, en función de la combinación de GPU y número de vCPUs. Para el resto de las instancias de GPU N1, consulta la página de resumen.

Consulta la siguiente sección para calcular el ancho de banda de red máximo disponible para tus instancias T4 y V100 en función del modelo de GPU, la vCPU y el número de GPUs.

Ajustes de MTU y tipos de máquinas con GPU

Para maximizar el ancho de banda de la red, asigna un valor de unidad de transmisión máxima (MTU) más alto a tus redes VPC. Los valores de MTU más altos aumentan el tamaño de los paquetes y reducen la sobrecarga del encabezado de los paquetes, lo que a su vez incrementa el rendimiento de los datos de la carga útil.

En el caso de los tipos de máquinas con GPU, te recomendamos que uses los siguientes ajustes de MTU en tus redes de VPC.

Tipo de máquina con GPU	MTU recomendada (en bytes)
	Red VPC	Red de VPC con perfiles RDMA
A4X A4 A3 Ultra	8896	8896
A3 Mega A3 High A3 Edge	8244	N/A
A2 Standard A2 Ultra G4 G2 Tipos de máquinas N1 que admiten GPUs	8896	N/A

Cuando defina el valor de MTU, tenga en cuenta lo siguiente:

• 8192 son dos páginas de 4 KB.
• Se recomienda usar 8244 en las máquinas virtuales A3 Mega, A3 High y A3 Edge para las NICs de GPU que tengan habilitada la división de encabezados.
• Utilice el valor 8896, a menos que se indique lo contrario en la tabla.

Crear máquinas con GPU de gran ancho de banda

Para crear instancias de GPU que usen anchos de banda de red más altos, utiliza uno de los siguientes métodos en función del tipo de máquina:

• Para crear instancias A2, G2 y N1 que usen anchos de banda de red más altos, consulta Usar un ancho de banda de red más alto en instancias A2, G2 y N1. Para probar o verificar la velocidad del ancho de banda de estas máquinas, puedes usar la prueba de rendimiento. Para obtener más información, consulta Comprobar el ancho de banda de la red.

• Para crear instancias A3 Mega que usen anchos de banda de red más altos, consulta Implementar un clúster Slurm A3 Mega para el entrenamiento de modelos de aprendizaje automático. Para probar o verificar la velocidad del ancho de banda de estas máquinas, utiliza una prueba de rendimiento siguiendo los pasos que se indican en Comprobar el ancho de banda de la red.

• En el caso de las instancias A3 High y A3 Edge que usan anchos de banda de red más altos, consulta Crear una máquina virtual A3 con GPUDirect-TCPX habilitado. Para probar o verificar la velocidad del ancho de banda de estas máquinas, puedes usar la prueba de rendimiento. Para obtener más información, consulta Comprobar el ancho de banda de la red.

• En el caso de otros tipos de máquinas optimizadas para aceleradores, no es necesario hacer nada para usar un ancho de banda de red mayor. Al crear una instancia tal como se indica en la documentación, ya se usa un ancho de banda de red alto. Para saber cómo crear instancias de otros tipos de máquinas optimizadas para aceleradores, consulta Crear una VM con GPUs conectadas.

Siguientes pasos

• Consulta más información sobre las plataformas de GPU.
• Consulta cómo crear instancias con GPUs vinculadas.
• Consulta información sobre cómo usar un mayor ancho de banda de la red.
• Consulta los precios de las GPUs.