Options de consommation Cloud TPU
Ce document décrit les options de consommation compatibles avec Cloud TPU. Les options de consommation sont les méthodes utilisées pour demander de la capacité. Lorsque vous choisissez une option de consommation, tenez compte des facteurs suivants :
- le délai dont vous avez besoin pour obtenir la capacité ;
- Durée pendant laquelle vous avez besoin de la capacité
- Si vous avez besoin de capacité pour une durée fixe ou flexible
- Si votre capacité peut être préemptée
- Tarifs
Si vous utilisez les API Cloud TPU, vous avez besoin, pour chaque méthode de consommation, d'un quota à la demande ou préemptible pour le nombre de cœurs Cloud TPU que vous souhaitez utiliser. Il existe différents quotas par défaut pour les TPU à la demande et préemptifs, selon la version de TPU. Pour en savoir plus, consultez Quotas Cloud TPU.
Si vous utilisez des TPU avec Google Kubernetes Engine (GKE), vous utilisez le quota de l'API Compute Engine, qui est un quota différent. Pour en savoir plus sur les quotas que vous utilisez pour les TPU dans GKE, consultez Vérifier que vous disposez d'un quota de TPU.
| Option de consommation | Fonctionnement | Utilisation optimale | Versions et zones TPU compatibles | Type de quota pour l'API Cloud TPU |
|---|---|---|---|---|
| Réservations à long terme | Vous demandez des ressources TPU à l'avance pour un an ou plus. Ces ressources vous sont réservées exclusivement pendant cette période. Les réservations offrent le plus haut niveau d'assurance pour la capacité et sont rentables, avec un prix inférieur à celui des ressources à la demande. Les réservations de TPU à long terme sont associées à une remise sur engagement d'utilisation. Les CUD vous permettent de bénéficier de prix réduits en échange de la souscription d'un contrat d'engagement d'utilisation. Pour en savoir plus, consultez Demander une réservation à long terme. |
Les réservations à long terme sont idéales pour les tâches d'entraînement de longue durée et les charges de travail d'inférence. | Toutes les versions de TPU : consultez Régions et zones TPU. | Quota à la demande |
| Réservations à court terme (réservations futures en mode Agenda) (Aperçu) | Vous demandez des ressources TPU pour une heure de début et une durée spécifiques, comprises entre 1 et 90 jours. Ces ressources vous sont réservées exclusivement pendant cette période. Les réservations offrent le plus haut niveau d'assurance pour la capacité et sont rentables, avec un prix inférieur à celui des ressources à la demande. Pour en savoir plus, consultez Demander une réservation à court terme en mode Agenda. |
Les réservations à court terme sont adaptées aux charges de travail d'entraînement et d'expérimentation qui nécessitent des heures de début précises et ont une durée définie. | v6e (Trillium) pour l'entraînement et le service : asia-northeast1-b, us-east5-a v5p pour l'entraînement et le service : us-east5-a v5e pour l'entraînement : us-west4-a v5e pour le serving : us-central1-a |
Aucun quota requis |
| À la demande | Vous demandez à utiliser des ressources TPU dès que possible et aussi longtemps que vous le souhaitez. L'option à la demande offre la plus grande flexibilité. Les ressources à la demande ne seront pas préemptées, mais il n'est pas garanti qu'il y aura suffisamment de ressources TPU disponibles pour répondre à votre demande. Le mode à la demande est défini par défaut lorsque vous créez des ressources TPU. Pour en savoir plus sur la création et l'utilisation de TPU à la demande, consultez Gérer les ressources TPU. |
Le mode à la demande est adapté aux jobs urgents et aux charges de travail qui nécessitent une heure de fin flexible. | Toutes les versions de TPU : consultez Régions et zones TPU. | Quota à la demande |
| Démarrage Flex (preview) | Vous demandez des ressources TPU pour une durée spécifique (jusqu'à sept jours) sans avoir à réserver de capacité à l'avance. Les ressources à démarrage flexible sont fournies à partir d'un pool de capacité dédié. Leur disponibilité est donc supérieure à celle des ressources à la demande. Pour en savoir plus sur l'utilisation du démarrage flexible avec les TPU, consultez Demander des Cloud TPU à l'aide du démarrage flexible. Pour en savoir plus sur l'utilisation de Flex-start avec Google Kubernetes Engine (GKE), consultez À propos du provisionnement de GPU et de TPU avec le mode de provisionnement Flex-start. |
Le démarrage flexible est idéal pour les tests, les tests à petite échelle, le provisionnement dynamique de TPU pour les charges de travail d'inférence, le réglage précis des modèles et les exécutions de charges de travail qui durent moins de sept jours. |
v6e (Trillium) : asia-northeast1-b, us-east5-a v5p : us-east5-a v5e : us-west4-a |
Quota préemptif |
| Spot | Vous demandez des ressources TPU qui peuvent être préemptées. Les VM Spot sont disponibles à un prix beaucoup plus bas que les ressources à la demande. Les VM Spot sont peut-être plus faciles à obtenir que les ressources à la demande, mais elles peuvent être préemptées (arrêtées) à tout moment. La durée d'exécution n'est pas limitée. Pour en savoir plus sur les VM TPU Spot, consultez Gérer les VM TPU Spot. |
Spot est une bonne solution pour planifier des charges de travail de priorité inférieure, comme le pré-entraînement et l'affinage de modèles, ainsi que les tâches de simulation tolérantes aux interruptions de disponibilité. | Toutes les versions de TPU : consultez Régions et zones TPU. | Quota préemptif |
Étapes suivantes
Pour commencer à utiliser les TPU, procédez comme suit :