Cloud TPU の使用オプション
このドキュメントでは、Cloud TPU でサポートされている使用オプションについて説明します。使用オプションは、容量をリクエストするために使用される方法です。使用オプションを選択する際は、次の要素を考慮してください。
- 容量をどの程度早く必要とするか
- 容量が必要な期間
- 容量が必要な期間は固定か柔軟か
- 容量がプリエンプトされるかどうか
- 料金
Cloud TPU API を使用している場合、使用方法ごとに、使用する Cloud TPU コア数に対してオンデマンドまたはプリエンプティブルの割り当てが必要です。TPU のバージョンにより、デフォルトのオンデマンド割り当てとプリエンプティブル割り当てが異なります。詳細については、Cloud TPU の割り当てをご覧ください。
Google Kubernetes Engine(GKE)で TPU を使用している場合は、別の割り当てである Compute Engine API の割り当てを使用します。GKE で TPU に使用する割り当てについては、TPU 割り当てがあることを確認するをご覧ください。
使用オプション | 機能 | 最適な用途 | サポートされている TPU のバージョンとゾーン | Cloud TPU API の割り当てタイプ |
---|---|---|---|---|
長期予約 | 1 年以上前に TPU リソースを事前にリクエストします。これらのリソースは、その期間にお客様が排他的に使用するために予約されます。 予約を使用すると、容量を確実に確保できます。また、オンデマンド リソースよりも低価格で、費用対効果に優れています。 長期の TPU 予約には、確約利用割引(CUD)が適用されます。CUD では、確約利用契約を購入することを条件として、割引料金が適用されます。詳細については、長期予約をリクエストするをご覧ください。 |
長期予約は、長時間実行されるトレーニング ジョブと推論ワークロードに最適です。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | オンデマンド割り当て |
短期予約(カレンダー モードの将来の予約)(プレビュー) | 特定の開始時間と期間(1~90 日)の TPU リソースをリクエストします。これらのリソースは、その期間にお客様が排他的に使用するために予約されます。 予約を使用すると、容量を確実に確保できます。また、オンデマンド リソースよりも低価格で、費用対効果に優れています。 詳細については、カレンダー モードを使用して短期予約をリクエストするをご覧ください。 |
短期予約は、正確な開始時間と定義された期間を必要とするトレーニングとテストのワークロードに適しています。 | トレーニングとサービング用の v6e(Trillium): asia-northeast1-b、us-east5-a トレーニングとサービング用の v5p: us-east5-a トレーニング用の v5e: us-west4-a サービング用の v5e: us-central1-a |
割り当て不要 |
オンデマンド | TPU リソースをリクエストして、可能な限り早く、必要な期間使用できるようにします。 オンデマンドは最も柔軟性の高い方法です。オンデマンド リソースはプリエンプトされませんが、リクエストを満たすのに十分な TPU リソースがあることを保証するものではありません。TPU リソースを作成する際のデフォルトはオンデマンドです。オンデマンド TPU の作成と使用の詳細については、 TPU リソースを管理するをご覧ください。 |
オンデマンドは、緊急のジョブや、終了時間を柔軟に設定する必要があるワークロードに適しています。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | オンデマンド割り当て |
Flex Start(プレビュー) | 容量を事前に予約することなく、最大 7 日間の TPU リソースをリクエストします。 Flex Start リソースは専用の容量プールから提供されるため、これらのリソースの可用性はオンデマンドよりも高くなります。TPU で Flex Start を使用する方法については、Flex Start を使用して Cloud TPU をリクエストするをご覧ください。 Google Kubernetes Engine(GKE)で Flex Start を使用する方法については、Flex Start プロビジョニング モードでの GPU と TPU のプロビジョニングについてをご覧ください。 |
Flex Start は、迅速なテスト、小規模なテスト、推論ワークロード用の TPU の動的プロビジョニング、モデルのファインチューニング、7 日未満のワークロード実行に適しています。 |
v6e(Trillium): asia-northeast1-b、us-east5-a v5p: us-east5-a v5e: us-west4-a |
プリエンプティブル割り当て |
Spot | プリエンプトされる可能性がある TPU リソースをリクエストします。 Spot VM は、オンデマンド リソースよりもはるかに低価格で利用できます。Spot VM はオンデマンド リソースよりも簡単に取得できますが、いつでもプリエンプト(シャットダウン)される可能性があります。実行時間に制限はありません。TPU Spot VM の詳細については、TPU Spot VM を管理するをご覧ください。 |
Spot は、モデルの事前トレーニング、モデルのファインチューニング、可用性の中断に耐性のあるシミュレーション ジョブなど、優先度の低いワークロードのスケジューリングに適しています。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | プリエンプティブル割り当て |
次のステップ
次の方法で TPU を使ってみる。