Cloud TPU-Verbrauchsoptionen
In diesem Dokument werden die Verbrauchsoptionen beschrieben, die für Cloud TPU unterstützt werden. Nutzungsoptionen sind die Methoden, mit denen Kapazität angefordert wird. Berücksichtigen Sie bei der Auswahl einer Verbrauchsoption die folgenden Faktoren:
- Wie schnell Sie die Kapazität benötigen
- Wie lange Sie die Kapazität benötigen
- Ob Sie die Kapazität für einen festen oder flexiblen Zeitraum benötigen
- Ob Ihre Kapazität vorzeitig beendet werden kann
- Preise
Wenn Sie Cloud TPU-APIs verwenden, benötigen Sie für jede Nutzungsmethode entweder On-Demand- oder vorzeitig beendbares Kontingent für die Anzahl der Cloud TPU-Kerne, die Sie verwenden möchten. Für jede TPU-Version gibt es unterschiedliche Standardkontingente für On-Demand- und auf Abruf verfügbare TPUs. Weitere Informationen finden Sie unter Cloud TPU-Kontingente.
Wenn Sie TPUs mit Google Kubernetes Engine (GKE) verwenden, nutzen Sie das Compute Engine API-Kontingent, das ein anderes Kontingent ist. Weitere Informationen zu Kontingenten, die Sie für TPUs in GKE verwenden, finden Sie unter TPU-Kontingent prüfen.
| Nutzungsoption | Funktionsweise | Geeignete Anwendungsfälle | Unterstützte TPU-Versionen und ‑Zonen | Kontingenttyp für die Cloud TPU API |
|---|---|---|---|---|
| Langzeitreservierungen | Sie fordern TPU-Ressourcen im Voraus für ein Jahr oder länger an. Diese Ressourcen sind während dieses Zeitraums ausschließlich für Sie reserviert. Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstig, da sie einen niedrigeren Preis als On-Demand-Ressourcen haben. Langfristige TPU-Reservierungen haben einen Rabatt für zugesicherte Nutzung (CUD). Mit Rabatten für zugesicherte Nutzung erhalten Sie Preisnachlässe, wenn Sie einen Vertrag für zugesicherte Nutzung abschließen. Weitere Informationen finden Sie unter Langzeitreservierung anfordern. |
Langzeitreservierungen sind ideal für Trainingsjobs mit langer Laufzeit und Inferenzarbeitslasten. | Alle TPU-Versionen: TPU-Regionen und -Zonen | On-Demand-Kontingent |
| Kurzfristige Reservierungen (vorausschauende Reservierungen im Kalendermodus) (Vorschau) | Sie fordern TPU-Ressourcen für eine bestimmte Startzeit und Dauer zwischen 1 und 90 Tagen an. Diese Ressourcen sind während dieses Zeitraums ausschließlich für Sie reserviert. Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstig, da sie einen niedrigeren Preis als On-Demand-Ressourcen haben. Weitere Informationen finden Sie unter Kurzfristige Reservierung im Kalendermodus anfordern. |
Kurzfristige Reservierungen eignen sich gut für Trainings- und Testarbeitslasten, die genaue Startzeiten erfordern und eine definierte Dauer haben. | v6e (Trillium) für Training und Bereitstellung: asia-northeast1-b, us-east5-a v5p für Training und Bereitstellung: us-east5-a v5e für das Training: us-west4-a v5e für die Bereitstellung: us-central1-a |
Kein Kontingent erforderlich |
| On Demand | Sie fordern TPU-Ressourcen an, die so schnell wie möglich und so lange wie gewünscht verwendet werden sollen. On-Demand bietet die höchste Flexibilität. On-Demand-Ressourcen werden nicht unterbrochen, es gibt jedoch keine Garantie dafür, dass genügend TPU-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen. „On-demand“ ist die Standardeinstellung, wenn Sie TPU-Ressourcen erstellen. Weitere Informationen zum Erstellen und Verwenden von On-Demand-TPUs finden Sie unter TPU-Ressourcen verwalten. |
On-Demand-Instanzen eignen sich gut für dringende Jobs und Arbeitslasten, die eine flexible Endzeit erfordern. | Alle TPU-Versionen: TPU-Regionen und -Zonen | On-Demand-Kontingent |
| Flex-Start (Vorschau) | Sie können TPU-Ressourcen für einen bestimmten Zeitraum von bis zu 7 Tagen anfordern, ohne Kapazität im Voraus reservieren zu müssen. Flex-Start-Ressourcen werden aus einem dedizierten Kapazitätspool bereitgestellt. Die Verfügbarkeit dieser Ressourcen ist daher höher als bei On-Demand-Ressourcen. Weitere Informationen zur Verwendung von Flex-Start mit TPUs finden Sie unter Cloud-TPUs mit Flex-Start anfordern. Weitere Informationen zur Verwendung von Flex-Start mit Google Kubernetes Engine (GKE) finden Sie unter GPU- und TPU-Bereitstellung mit dem Flex-Start-Bereitstellungsmodus. |
Flex-Start eignet sich ideal für Experimente, Tests im kleinen Maßstab, die dynamische Bereitstellung von TPUs für Inferenz-Arbeitslasten, das Feinabstimmen von Modellen und Arbeitslasten, die weniger als 7 Tage dauern. |
v6e (Trillium): asia-northeast1-b, us-east5-a v5p: us-east5-a v5e: us-west4-a |
Kontingent auf Abruf |
| Spot | Sie fordern TPU-Ressourcen an, die vorzeitig beendet werden könnten. Spot-VMs sind viel günstiger als On-Demand-Ressourcen. Spot-VMs sind möglicherweise einfacher zu erhalten als On-Demand-Ressourcen, können aber jederzeit vorzeitig beendet (heruntergefahren) werden. Die Laufzeit ist nicht begrenzt. Weitere Informationen zu TPU-Spot-VMs finden Sie unter TPU-Spot-VMs verwalten. |
Spot eignet sich gut für die Planung von Arbeitslasten mit niedrigerer Priorität wie Modell-Vortraining, Modell-Feinabstimmung und Simulationsjobs, die gegenüber Verfügbarkeitsunterbrechungen tolerant sind. | Alle TPU-Versionen: TPU-Regionen und -Zonen | Kontingent auf Abruf |
Nächste Schritte
Erste Schritte mit TPUs: