À propos des GPU

Pour accélérer des charges de travail spécifiques sur Compute Engine, vous pouvez déployer une VM optimisée pour les accélérateurs à laquelle des GPU sont associés, ou associer des GPU à une VM N1 à usage général.

Ce document décrit les fonctionnalités et les limites des GPU exécutés sur Compute Engine.

Vous pouvez également utiliser certains types de machines GPU sur AI Hypercomputer. AI Hypercomputer est un système de supercalcul optimisé pour prendre en charge vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Cette option est recommandée pour créer une infrastructure à allocation dense et optimisée pour les performances, qui intègre les planificateurs Google Kubernetes Engine (GKE) et Slurm.

GPU et séries de machines

Les GPU sont compatibles avec les séries de machines optimisées pour les accélérateurs (A4X, A4, A3, A2 et G2) et la série de machines à usage général N1. Pour les VM qui utilisent des types de machines optimisés pour les accélérateurs, les GPU sont automatiquement associés lors de la création de la VM. Pour les VM qui utilisent des types de machines N1, vous associez le GPU à la VM pendant ou après sa création. Les GPU ne peuvent pas être utilisés avec d'autres séries de machines.

Série de machines optimisées pour les accélérateurs

Chaque type de machine optimisé pour les accélérateurs est associé à un modèle spécifique de GPU NVIDIA.

  • Pour les types de machines A4X, des superchips NVIDIA GB200 sont associés.
  • Pour les types de machines A4, les GPU NVIDIA B200 sont associés.
  • Pour les types de machines A3, les GPU NVIDIA H100 80 Go ou NVIDIA H200 141 Go sont associés. Celles-ci sont disponibles dans les options suivantes :
    • A3 Ultra : ces types de machines sont associés à des GPU H200 de 141 Go.
    • A3 Mega : ces types de machines sont associés à des GPU H100 de 80 Go.
    • A3 High : ces types de machines sont associés à des GPU H100 de 80 Go.
    • A3 Edge : ces types de machines sont associés à des GPU H100 de 80 Go.
  • Pour les types de machines A2, les GPU NVIDIA A100 sont associés. Celles-ci sont disponibles dans les options suivantes :
    • A2 Ultra : ces types de machines sont associés à des GPU A100 de 80 Go.
    • A2 Standard : ces types de machines sont associés à des GPU A100 de 40 Go.
  • Pour les types de machines G2, les GPU NVIDIA L4 sont associés.

Pour en savoir plus, consultez la section Série de machines optimisée pour les accélérateurs.

Série de machines à usage général N1

Pour tous les autres types de GPU, vous pouvez utiliser la plupart des types de machines N1, à l'exception du type N1 à cœur partagé (f1-micro et g1-small).

Pour cette série de machines, vous pouvez utiliser des types de machines prédéfinis ou personnalisés.

GPU sur des VM Spot

Vous pouvez ajouter des GPU à vos VM Spot à des tarifs Spot pour les GPU. Les GPU associés à des VM Spot fonctionnent comme des GPU normaux dont la durée de vie n'excède pas celle de la VM. Les VM Spot avec des GPU suivent le même processus de préemption que toutes les VM Spot.

Envisagez de demander un quota Preemptible GPU dédié à utiliser pour les GPU sur les VM Spot. Pour en savoir plus, consultez la section Quotas pour les VM Spot.

Lors des événements de maintenance, les VM Spot avec GPU sont préemptées par défaut et ne peuvent pas être redémarrées automatiquement. Si vous souhaitez recréer vos VM après leur préemption, utilisez un groupe d'instances géré. Les groupes d'instances gérés recréent vos instances de VM si les ressources de processeur virtuel, de mémoire et de GPU sont disponibles.

Si vous souhaitez être averti avant que vos VM soient préemptées, ou si vous souhaitez configurer vos VM pour qu'elles redémarrent automatiquement après un événement de maintenance, utilisez des VM standards avec un GPU. Pour les VM standards comportant des GPU, Compute Engine envoie un avis préalable une heure avant la préemption.

L'utilisation de GPU sur Compute Engine ne vous est pas facturée si leurs VM sont préemptées dans la minute qui suit leur exécution.

Pour découvrir comment créer des VM Spot avec des GPU associés, consultez les sections Créer une VM avec des GPU associés et Créer des VM Spot. Par exemple, consultez Créer une instance A3 Ultra ou A4 à l'aide de VM Spot.

GPU sur des VM avec des durées d'exécution prédéfinies

Les VM qui utilisent le modèle de provisionnement standard ne peuvent généralement pas utiliser les quotas d'allocation préemptifs. Les quotas préemptifs sont destinés aux charges de travail temporaires et sont généralement plus disponibles. Si votre projet ne dispose pas de quota préemptif et que vous n'en avez jamais demandé, toutes les VM de votre projet consomment des quotas d'allocation standards.

Si vous demandez un quota d'allocation préemptive, les VM qui utilisent le modèle d'approvisionnement standard doivent répondre à tous les critères suivants pour consommer le quota d'allocation préemptive :

Lorsque vous consommez une allocation préemptive pour des charges de travail GPU limitées dans le temps, vous pouvez bénéficier à la fois d'une durée d'exécution ininterrompue et d'une grande disponibilité du quota d'allocation préemptive. Pour en savoir plus, consultez la section Quotas préemptifs.

GPU et Confidential VM

Vous pouvez utiliser un GPU avec une instance Confidential VM utilisant Intel TDX sur la série de machines A3. Pour en savoir plus, consultez la section Configurations compatibles de Confidential VM. Pour savoir comment créer une instance Confidential VM avec des GPU, consultez Créer une instance Confidential VM avec un GPU.

GPU et stockage de blocs

Lorsque vous créez une VM sur une plate-forme GPU, vous pouvez y ajouter un stockage de blocs persistant ou temporaire. Pour stocker des données non transitoires, utilisez un stockage de blocs persistant tel que Hyperdisk ou Persistent Disk, car les disques sont indépendants du cycle de vie de la VM. Les données stockées sur un espace de stockage persistant peuvent être conservées même après la suppression de la VM.

Pour le stockage temporaire ou les caches, utilisez le stockage de blocs temporaire en ajoutant des disques SSD locaux lorsque vous créez la VM.

Stockage de blocs persistant avec les volumes Persistent Disk et Hyperdisk

Vous pouvez associer des volumes Persistent Disk et sélectionner des volumes Hyperdisk avec des VM compatibles avec les GPU.

Pour les charges de travail d'entraînement et de diffusion de machine learning, Google recommande d'utiliser des volumes Hyperdisk ML, qui offrent un débit élevé et des temps de chargement de données plus courts. Hyperdisk ML est donc une option plus économique pour les charges de travail de ML, car il offre des temps d'inactivité des GPU plus faibles.

Les volumes Hyperdisk ML sont compatibles avec l'association multiple en lecture seule. Vous pouvez donc associer le même disque à plusieurs VM, ce qui permet à chaque VM d'accéder aux mêmes données.

Pour en savoir plus sur les types de disques compatibles avec les séries de machines qui prennent en charge les GPU, consultez les pages sur les séries de machines N1 et optimisées pour les accélérateurs.

Disques SSD locaux

Les disques SSD locaux offrent un stockage temporaire rapide pour la mise en cache, le traitement des données ou d'autres données temporaires. Les disques SSD locaux sont des espaces de stockage rapides, car ils sont rattachés physiquement au serveur qui héberge votre VM. Elles sont temporaires, car les données sont perdues si la VM redémarre.

Vous ne devez pas stocker de données nécessitant une forte persistance sur des disques SSD locaux. Pour stocker des données non transitoires, utilisez plutôt le stockage persistant.

Si vous arrêtez manuellement une VM avec un GPU, vous pouvez conserver les données des disques SSD locaux, sous réserve de certaines restrictions. Pour en savoir plus, consultez la documentation sur les SSD locaux.

Pour connaître la disponibilité régionale des disques SSD locaux avec les types de GPU, consultez Disponibilité des disques SSD locaux par régions et zones GPU.

GPU et maintenance de l'hôte

Les VM auxquelles sont associés des GPU sont toujours arrêtées lorsque Compute Engine effectue des événements de maintenance sur les VM. Si des disques SSD locaux sont associés à la VM, les données SSD locales sont perdues après l'arrêt de la VM.

Pour en savoir plus sur la gestion des événements de maintenance, consultez la section Gérer les événements de maintenance de l'hôte GPU.

Tarifs des GPU

Pour les VM auxquelles sont associés des GPU, les coûts sont les suivants :

Pour connaître les tarifs horaires et mensuels des GPU, consultez la page Tarifs des GPU.

Réserver des GPU avec des remises sur engagement d'utilisation

Pour réserver des ressources GPU dans une zone spécifique, consultez Choisir un type de réservation.

Pour bénéficier de remises sur engagement d'utilisation pour les GPU dans une zone spécifique, vous devez souscrire des engagements basés sur les ressources pour les GPU et associer également des réservations spécifiant des GPU correspondants à vos engagements. Pour en savoir plus, consultez la section Associer des réservations à des engagements basés sur les ressources.

Restrictions et limitations des GPU

Pour les VM auxquelles sont associés des GPU, les restrictions et limites suivantes s'appliquent :

  • Les GPU ne sont compatibles qu'avec les types de machines optimisés pour les accélérateurs (A4X, A4, A3, A2 et G2) ou à usage général (N1).

  • Pour protéger les systèmes et les utilisateurs de Compute Engine, les nouveaux projets bénéficient d'un quota global de GPU, ce qui limite le nombre total de GPU que vous pouvez créer dans les zones disponibles. Lorsque vous demandez un quota de GPU, vous devez inclure les modèles de GPU que vous souhaitez créer dans chaque région, mais également demander un quota global supplémentaire pour le nombre total de GPU de tous types, dans toutes les zones.

  • Les VM comprenant un ou plusieurs GPU possèdent un nombre maximal de processeurs virtuels pour chaque GPU que vous ajoutez à la VM. Pour afficher les processeurs virtuels et plages de mémoire disponibles pour différentes configurations de GPU, consultez la liste des GPU.

  • Les GPU nécessitent des pilotes d'appareil pour fonctionner correctement. Les GPU NVIDIA exécutés sur Compute Engine doivent utiliser une version minimale du pilote. Pour en savoir plus sur les versions de pilote, consultez la page sur les versions de pilote NVIDIA requises.

  • Les VM auxquelles est associé un modèle de GPU sont couvertes par le contrat de niveau de service de Compute Engine uniquement si ce modèle de GPU associé est accessible à tous.

    Pour les régions comportant plusieurs zones, le contrat de niveau de service de Compute Engine ne couvre la VM que si le modèle de GPU est disponible dans plusieurs zones de cette région. Pour connaître les modèles de GPU par région, consultez Régions et zones de GPU.

  • Compute Engine accepte un utilisateur simultané par GPU.

  • Consultez également les limites pour chaque type de machine auquel des GPU sont associés.

Étape suivante