Acerca de las GPU

Para acelerar cargas de trabajo específicas en Compute Engine, puedes implementar una VM optimizada para aceleradores que tenga GPU conectadas o adjuntar GPU a una VM N1 de uso general.

En este documento, se describen las características y limitaciones de las GPU que se ejecutan en Compute Engine.

También puedes usar algunos tipos de máquinas con GPU en AI Hypercomputer. AI Hypercomputer es un sistema de supercomputación optimizado para admitir tus cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA). Esta opción se recomienda para crear una infraestructura optimizada para el rendimiento y con una asignación densa que tenga integraciones para los programadores de Google Kubernetes Engine (GKE) y Slurm.

GPU y series de máquinas

Las GPU son compatibles con las series de máquinas optimizadas para aceleradores (A4X, A4, A3, A2 y G2) y la serie de máquinas de uso general N1. En las VMs que usan tipos de máquinas optimizados para aceleradores, las GPU se conectan de forma automática cuando creas la VM. Para las VMs que usan tipos de máquinas N1, debes conectar la GPU a la VM durante la creación de la VM o después. Las GPU no se pueden usar con otras series de máquinas.

Series de máquinas optimizadas para aceleradores

Cada tipo de máquina optimizada para acelerador tiene un modelo específico de GPU de NVIDIA conectada.

  • En los tipos de máquinas A4X, se conectan superchips NVIDIA GB200.
  • En los tipos de máquinas A4, se conectan GPUs NVIDIA B200.
  • En los tipos de máquinas A3, se conectan GPUs NVIDIA H100 de 80 GB o NVIDIA H200 de 141 GB. Están disponibles en las siguientes opciones:
    • A3 Ultra: Estos tipos de máquinas tienen GPUs H200 de 141 GB conectadas
    • A3 Mega: Estos tipos de máquinas tienen GPUs H100 de 80 GB conectadas
    • A3 High: Estos tipos de máquinas tienen GPUs H100 de 80 GB conectadas.
    • A3 Edge: Estos tipos de máquinas tienen GPUs H100 de 80 GB conectadas.
  • En los tipos de máquinas A2, se conectan GPUs NVIDIA A100. Están disponibles en las siguientes opciones:
    • A2 Ultra: Estos tipos de máquinas tienen GPUs A100 de 80 GB conectadas
    • A2 estándar: Estos tipos de máquinas tienen GPU A100 de 40 GB conectadas.
  • En los tipos de máquinas G2, se conectan las GPU NVIDIA L4.

Para obtener más información, consulta Series de máquinas optimizadas para aceleradores.

Series de máquinas de uso general N1

Para todos los demás tipos de GPU, puedes usar la mayoría de los tipos de máquinas N1, excepto el núcleo compartido N1 (f1-micro y g1-small).

Para esta serie de máquinas, puedes usar tipos de máquinas predefinidos o personalizados.

GPU en VM Spot

Puedes agregar GPU a tus VM Spot a precios puntuales más bajos para las GPU. Las GPU conectadas a las VM Spot funcionan como las GPU normales, pero persisten solo durante la vida útil de la VM. Las VM Spot con GPU siguen el mismo proceso de interrupción que todas las VM Spot.

Considera solicitar una cuota de Preemptible GPU dedicada para usar en GPU en las VM Spot. Si deseas obtener más información, consulta Cuotas para VM Spot.

Durante los eventos de mantenimiento, las VM Spot con GPU se interrumpen de forma predeterminada y no se pueden reiniciar automáticamente. Si deseas volver a crear tus VM después de que hayan sido interrumpidas, usa un grupo de instancias administrado. Los grupos de instancias administrados recrean tus instancias si están disponibles los recursos de CPU virtuales, memoria y GPU.

Si deseas recibir una advertencia antes de que se interrumpan tus VM o si deseas configurarlas para que se reinicien de forma automática después de un evento de mantenimiento, usa una VM estándar con una GPU. Para las VM estándar con GPU, Compute Engine proporciona un aviso con una hora de anticipación antes de la interrupción.

Compute Engine no te cobra por las GPU si tus VM son interrumpibles durante el primer minuto después de que comienzan a ejecutarse.

Para aprender a crear Spot VM con GPU conectadas, consulta Crea una VM con GPU conectadas y Crea Spot VM. Por ejemplo, consulta Crea una instancia A3 Ultra o A4 con VMs Spot.

GPUs en VMs con tiempos de ejecución predefinidos

Por lo general, las VMs que usan el modelo de aprovisionamiento estándar no pueden usar cuotas de asignación interrumpibles. Las cuotas interrumpibles son para cargas de trabajo temporales y suelen estar más disponibles. Si tu proyecto no tiene una cuota interrumpible y nunca la solicitaste, todas las VMs de tu proyecto consumen cuotas de asignación estándar.

Si solicitas una cuota de asignación interrumpible, las VMs que usan el modelo de aprovisionamiento estándar deben cumplir con todos los siguientes criterios para consumir la cuota de asignación interrumpible:

Cuando consumes asignación interrumpible para cargas de trabajo de GPU con límite de tiempo, puedes beneficiarte tanto del tiempo de ejecución ininterrumpido como de la alta disponibilidad de la cuota de asignación interrumpible. Para obtener más información, consulta Cuotas interrumpibles.

GPU y Confidential VMs

Puedes usar una GPU con una instancia de Confidential VM a través de Intel TDX en la serie de máquinas A3. Para obtener más información, consulta las configuraciones compatibles de Confidential VMs. Para aprender a crear una instancia de Confidential VM con GPU, consulta Crea una instancia de Confidential VM con GPU.

GPU y almacenamiento en bloque

Cuando creas una VM en una plataforma de GPU, puedes agregar almacenamiento en bloque persistente o temporal a la VM. Para almacenar datos no transitorios, usa almacenamiento en bloque persistente, como Hyperdisk o Persistent Disk, ya que los discos son independientes del ciclo de vida de la VM. Los datos del almacenamiento persistente se pueden conservar incluso después de que borres la VM.

Para el almacenamiento temporal o las memorias caché, usa el almacenamiento en bloque temporal agregando discos SSD locales cuando crees la VM.

Almacenamiento en bloque persistente con volúmenes de Persistent Disk y Hyperdisk

Puedes conectar Persistent Disk y seleccionar volúmenes de Hyperdisk con VMs habilitadas para GPU.

Para las cargas de trabajo de entrenamiento y entrega de aprendizaje automático, Google recomienda usar volúmenes de Hyperdisk ML, que ofrecen un alto rendimiento y tiempos de carga de datos más cortos. Esto hace que Hyperdisk ML sea una opción más rentable para las cargas de trabajo de AA, ya que ofrece tiempos de inactividad de la GPU más bajos.

Los volúmenes de Hyperdisk ML proporcionan compatibilidad con la conexión múltiple de solo lectura, por lo que puedes conectar el mismo disco a varias VMs, lo que le da a cada VM acceso a los mismos datos.

Para obtener más información sobre los tipos de discos compatibles con las series de máquinas que admiten GPUs, consulta las páginas de las series de máquinas N1 y optimizadas para aceleradores.

Discos SSD locales

Los discos SSD locales proporcionan almacenamiento temporal rápido para el almacenamiento en caché, el procesamiento de datos o cualquier otro dato transitorio. Los discos SSD locales son un almacenamiento rápido porque están conectados de manera física al servidor que aloja tu VM. Son temporales porque los datos se pierden si se reinicia la VM.

No debes almacenar datos con requisitos de persistencia sólidos en discos SSD locales. Para almacenar datos no transitorios, usa el almacenamiento persistente.

Si detienes manualmente una VM con una GPU, puedes conservar los datos de la SSD local, con ciertas restricciones. Consulta la documentación de SSD local para obtener más detalles.

Para obtener información sobre la compatibilidad regional con SSD local y tipos de GPU, consulta Disponibilidad de SSD local por regiones y zonas de GPU.

GPU y mantenimiento del host

Las VMs con GPU conectadas siempre se detienen cuando Compute Engine realiza eventos de mantenimiento en ellas. Si la VM tiene discos SSD locales conectados, los datos de los SSD locales se pierden después de que se detiene la VM.

Para obtener información sobre cómo controlar los eventos de mantenimiento, consulta Controla eventos de mantenimiento del host de GPU.

Precios de GPU

En el caso de las VMs que tienen GPUs conectadas, se generan costos de la siguiente manera:

Para conocer los precios por hora y por mes de las GPU, consulta la página de precios de GPU.

Reserva GPU con descuentos por compromiso de uso

Para reservar recursos de GPU en una zona específica, consulta Elige un tipo de reserva.

A fin de recibir descuentos por compromiso de uso para GPU en una zona específica, debes comprar compromisos basados en recursos para las GPU y también adjuntar reservas que especifiquen las GPU coincidentes a tus compromisos. Para obtener más información, consulta Adjunta reservas a compromisos basados en recursos.

Restricciones y limitaciones de GPU

Para las VMs que tienen GPU conectadas, se aplican las siguientes restricciones y limitaciones:

  • Las GPU solo son compatibles con los tipos de máquinas optimizadas para aceleradores (A4X, A4, A3, A2 y G2) o N1 de uso general.

  • Para proteger los sistemas y usuarios de Compute Engine, los nuevos proyectos tienen una cuota global de GPU que limita la cantidad total de GPU que puedes crear en cualquier zona compatible. Cuando solicitas una cuota de GPU, debes especificar una cuota de los modelos de GPU que quieres crear en cada región, así como indicar la cuota global con la cantidad total de GPU de los tipos de todas las zonas.

  • Las VMs con una o más GPU tienen una cantidad máxima de CPU virtuales para cada GPU que agregues a la VM. Si deseas ver los rangos de CPU virtuales y memoria disponibles para diferentes configuraciones de GPU, consulta la lista de GPU.

  • Las GPU requieren controladores de dispositivo para funcionar correctamente. Las GPU de NVIDIA que se ejecutan en Compute Engine deben usar una versión de controlador mínima. Para obtener más información sobre las versiones de controlador, consulta Versiones de controladores NVIDIA necesarias.

  • Las VMs con un modelo de GPU adjunto están cubiertas por el ANS de Compute Engine solo si ese modelo de GPU adjunto está en fase de disponibilidad general.

    En el caso de las regiones que tienen varias zonas, el ANS de Compute Engine solo cubre la VM si el modelo de GPU está disponible en más de una zona dentro de esa región. Para ver los modelos de GPU por región, consulta Regiones y zonas de GPU.

  • Compute Engine admite la ejecución de un usuario simultáneo por GPU.

  • Consulta también las limitaciones para cada tipo de máquina con GPUs conectadas.

Próximos pasos