TPU-Spot-VMs verwalten
Mit Spot-VMs wird ungenutzte Kapazität zu stark ermäßigten Preisen verfügbar gemacht. Spot-VMs können jederzeit vorzeitig beendet (heruntergefahren) werden. Im Gegensatz zu TPUs auf Abruf gibt es jedoch keine Beschränkung der Laufzeit. TPU-Spot-VMs können nicht neu gestartet werden. Sie müssen nach dem vorzeitigen Beenden immer neu erstellt werden. Weitere Informationen zu Spot-VMs im Allgemeinen finden Sie in der Compute Engine-Dokumentation zu Spot-VMs.
TPU-Spot-VMs erstellen
Sie können TPU-Spot-VMs mit in die Warteschlange gestellten Ressourcen erstellen. Dadurch wird Ihre Erstellungsanfrage einer Warteschlange hinzugefügt und Sie erhalten die gewünschte Kapazität, sobald sie verfügbar ist. Es empfiehlt sich, TPUs als in die Warteschlange gestellte Ressourcen zu erstellen. Weitere Informationen finden Sie in den Anleitungen zu in die Warteschlange gestellten Ressourcen.
Im folgenden Beispiel wird gezeigt, wie Sie TPU-Spot-VMs mit in die Warteschlange gestellten Ressourcen erstellen:
gcloud
Fügen Sie dem Befehl gcloud compute tpus queued-resources
das Flag --spot
hinzu:
gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \ --node-id=NODE_ID \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --runtime-version=tpu-vm-tf-2.17.1-pod-pjrt \ --spot
curl
Fügen Sie spot: {}
in den Anfragetext ein:
curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ tpu: { node_spec: { parent: "projects/PROJECT_ID/locations/europe-west4-a", node_id: "NODE_ID", node: { accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt" } } }, spot: {} }'
Console
Rufen Sie in der Google Cloud Console die Seite TPUs auf:
Klicken Sie auf TPU erstellen.
Geben Sie im Feld Name einen Namen für die TPU ein.
Wählen Sie im Feld Zone die Zone aus, in der Sie die TPU erstellen möchten.
Wählen Sie im Feld TPU-Typ einen Beschleunigertyp aus. Der Beschleunigertyp gibt die Version und Größe der Cloud TPU an, die Sie erstellen möchten. Weitere Informationen zu den unterstützten Beschleunigertypen für die einzelnen TPU-Versionen finden Sie unter TPU-Versionen.
Wählen Sie im Feld Version der TPU-Software eine Softwareversion aus. Beim Erstellen einer Cloud TPU-VM gibt das Feld „TPU-Softwareversion“ die Version der zu installierenden TPU-Laufzeit an. Weitere Informationen finden Sie unter TPU-Softwareversionen.
Klicken Sie auf die Ein/Aus-Schaltfläche Warteschlange aktivieren.
Geben Sie im Feld Name der Ressource in der Warteschlange einen Namen für die in die Warteschlange zu stellende Ressourcenanfrage ein.
Maximieren Sie den Bereich Verwaltung.
Aktivieren Sie das Kästchen Daraus eine TPU-Spot-VM machen.
Klicken Sie auf Erstellen.
Sie können auch TPU-Spot-VMs erstellen, ohne in die Warteschlange gestellte Ressourcen zu verwenden:
gcloud
Fügen Sie dem Befehl gcloud compute tpus tpu-vm
das Flag --spot
hinzu:
gcloud compute tpus tpu-vm create TPU_NAME \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --version=tpu-vm-tf-2.17.1-pod-pjrt \ --spot
curl
Fügen Sie scheduling_config: {spot: true}
in den Anfragetext ein:
curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ accelerator_type: "v3-8", runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt", network_config: {enable_external_ips: true}, scheduling_config: {spot: true} }'
Console
Rufen Sie in der Google Cloud Console die Seite TPUs auf:
Klicken Sie auf TPU erstellen.
Geben Sie im Feld Name einen Namen für die TPU ein.
Wählen Sie im Feld Zone die Zone aus, in der Sie die TPU erstellen möchten.
Wählen Sie im Feld TPU-Typ einen Beschleunigertyp aus. Der Beschleunigertyp gibt die Version und Größe der Cloud TPU an, die Sie erstellen möchten. Weitere Informationen zu den unterstützten Beschleunigertypen für die einzelnen TPU-Versionen finden Sie unter TPU-Versionen.
Wählen Sie im Feld Version der TPU-Software eine Softwareversion aus. Beim Erstellen einer Cloud TPU-VM gibt das Feld „TPU-Softwareversion“ die Version der zu installierenden TPU-Laufzeit an. Weitere Informationen finden Sie unter TPU-Softwareversionen.
Maximieren Sie den Bereich Verwaltung.
Aktivieren Sie das Kästchen Daraus eine TPU-Spot-VM machen.
Klicken Sie auf Erstellen.
Prüfen, ob eine TPU-VM eine Spot-VM ist
gcloud
Verwenden Sie den Befehl „describe“, um zu prüfen, ob Ihre TPU-VM eine Spot-VM ist:
gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a
Wenn die TPU-VM eine Spot-VM ist, enthält die Ausgabe das Feld spot
, das auf true
gesetzt ist, ähnlich wie im Folgenden:
...
schedulingConfig:
spot: true
...
Console
Rufen Sie in der Google Cloud Console die Seite TPUs auf:
Klicken Sie auf den Namen Ihrer Cloud TPU.
Wenn die TPU-VM eine Spot-VM ist, lautet die Stufe Spot-VM.
Preise und Kontingente
Die Preise für TPU-Spot-VMs sind deutlich niedriger als für On-Demand- und reservierte TPUs. Weitere Informationen zu Preisen finden Sie unter Cloud TPU-Preise.
Sie benötigen ein Kontingent auf Abruf, um TPU-Spot-VMs zu verwenden. Weitere Informationen finden Sie unter Kontingente.