Cloud TPU 消費選項

本文說明 Cloud TPU 支援的用量選項。用量方案是用來要求容量的方法。選擇用量方案時,請考量下列因素:

  • 您需要運算容量的速度
  • 容量需求時間
  • 您是否需要固定或彈性時間的容量
  • 容量是否可搶占
  • 定價

如果您使用 Cloud TPU API,無論採用哪種消耗方式,您都需要隨選或先占配額,才能使用所需數量的 Cloud TPU 核心。每個 TPU 版本都有不同的預設隨選和先占配額。詳情請參閱「 Cloud TPU 配額」。

如果您搭配 Google Kubernetes Engine (GKE) 使用 TPU,則會使用 Compute Engine API 配額,這是不同的配額。如要進一步瞭解您在 GKE 中使用的 TPU 配額,請參閱「確認您有 TPU 配額」。

用量方案 運作方式 最適用 支援的 TPU 版本和區域 Cloud TPU API 的配額類型
長期預訂

預先申請一年以上 TPU 資源。在該段時間內,這些資源會保留供您專屬使用。

預留項目可提供最高層級的容量保證,且價格比隨選資源更低,因此具有成本效益。

長期 TPU 預留項目會附加承諾使用折扣 (CUD)。只要購買承諾使用合約,即可享有承諾使用折扣。詳情請參閱「要求長期預留」。

長期預訂非常適合長期執行的訓練工作和推論工作負載。 所有 TPU 版本:請參閱 TPU 區域和區域 隨選配額
短期預訂 (日曆模式中的未來預訂) (預覽版)

您可以要求 TPU 資源在特定時間開始,並持續 1 到 90 天。 在該段時間內,這些資源會保留供您專屬使用。

預留項目可提供最高層級的容量保證,且價格比隨選資源更低,因此具有成本效益。

詳情請參閱「使用日曆模式要求短期預訂」。

短期預訂適合需要精確開始時間且有明確時長的訓練和實驗工作負載。

v6e (Trillium) 用於訓練和服務:asia-northeast1-b、us-east5-a

v5p,用於訓練和服務:us-east5-a

v5e 訓練:us-west4-a

v5e 適用於服務:us-central1-a

無須配額
隨選

您要求盡快使用 TPU 資源,並可自行決定使用時間長度。

以量計價方案的彈性最高,系統不會搶占隨選資源,但無法保證有足夠的可用 TPU 資源來滿足您的要求。建立 TPU 資源時,預設會使用隨選模式。如要進一步瞭解如何建立及使用隨選 TPU,請參閱 管理 TPU 資源

隨選適用於緊急工作,以及需要彈性結束時間的工作負載。 所有 TPU 版本:請參閱 TPU 區域和區域 隨選配額
彈性啟動 (預先發布版)

您可要求 TPU 資源一段時間 (最多 7 天),不必事先預留容量。

彈性啟動資源是從專屬的容量集區提供,因此這類資源的可用性高於隨選資源。如要進一步瞭解如何搭配 TPU 使用彈性啟動,請參閱「 使用彈性啟動要求 Cloud TPU」。

如要進一步瞭解如何搭配 Google Kubernetes Engine (GKE) 使用彈性啟動,請參閱 使用彈性啟動佈建模式佈建 GPU 和 TPU

彈性啟動非常適合實驗、小規模測試、為推論工作負載動態佈建 TPU、模型微調,以及執行時間少於 7 天的工作負載。

v6e (Trillium):asia-northeast1-b、us-east5-a

v5p:us-east5-a

v5e:us-west4-a

先占配額
Spot

您要求可能會遭到先占的 TPU 資源。

Spot VM 的價格比隨選資源低得多。相較於隨選資源,Spot VM 可能更容易取得,但隨時可能遭到搶占 (關閉)。執行時間長度沒有限制。如要進一步瞭解 TPU Spot VM,請參閱「 管理 TPU Spot VM」。

Spot 適合排定優先順序較低的工作負載,例如模型預先訓練、模型微調和模擬工作,這些工作可容許可用性中斷。 所有 TPU 版本:請參閱 TPU 區域和區域 先占配額

後續步驟

使用下列方式開始使用 TPU: