本文將概略介紹日曆模式中的預留項目要求。如要進一步瞭解在 Compute Engine 中預留資源的不同方式,請參閱「選擇預留類型」。
如要取得容量,建立附加 GPU 或 TPU 的虛擬機器 (VM) 執行個體,請使用日曆模式的未來預留要求。如果 Google Cloud核准您的要求,Compute Engine 就會在您選擇的日期和時間,為您佈建預留資源,並持續您選擇的時間長度。接著,您可以使用預留資源建立 GPU VM 或 TPU VM,執行下列工作負載:
模型預先訓練工作
模型微調工作
高效能運算 (HPC) 模擬工作負載
短期內推論工作負載預期會增加
在日曆模式中建立要求
下列各節說明如何查看資源供應情形,以及在日曆模式下建立未來預訂要求時,要指定哪些詳細資料。
查看資源未來可用情形
在日曆模式中建立未來預留項目要求前,您可以查看下列資源在特定區域的未來可用性:
GPU VM 最多可提前 60 天預訂
TPU:最多可提前 120 天預訂
Compute Engine 會使用動態工作負載排程器 (DWS),查看您要求的資源何時可用。建立要求時,請指定您確認可用的資源數量、類型和預訂期間。 Google Cloud 提供這項資訊後,要求獲准的機率會更高。
定義要求屬性
在日曆模式中建立未來預留項目要求時,必須指定下列屬性:
自動刪除。這個屬性會決定 Compute Engine 是否要在要求結束時間刪除自動建立的 (自動建立) 預留項目,即使預留項目未完全耗用也一樣。如要在日曆模式中建立要求,必須啟用自動刪除選項。
消耗類型:這項屬性會定義 VM 如何使用自動建立的預留項目。在日曆模式中建立要求時,您必須指定要建立明確指定的預訂。這項設定表示只有指定預留項目的 VM 才能使用。
部署類型。這項屬性會定義預留資源的共置。在日曆模式中建立要求時,您必須指定密集部署資源。在這種部署方式中,資源彼此靠近,可盡量縮短網路延遲。
名稱 - 要求名稱,在專案中不得重複。
資源數量。在您要求的開始時間預留的 GPU VM 或 TPU 數量。
規劃狀態。這個屬性會定義您是否要立即將要求提交至 Google Cloud 進行審查,或是將要求儲存為草稿,稍後再提交。在日曆模式中建立要求時,必須指定立即提交要求以供審查。
預訂模式。這項屬性會定義預訂資源的方法,您必須在日曆模式的要求中將這項屬性設為
CALENDAR
。預訂名稱。如果 Compute Engine Google Cloud 核准您的要求,就會自動建立預留項目,並使用這個名稱。
共用類型。這項屬性會定義機構中的其他專案是否可使用核准要求自動建立的預留項目。您可以指定下列其中一個選項:
單一專案。只有您的專案可以使用預留容量。
共用。您最多可以與機構中的 100 個其他專案共用預留容量。如果您指定這個選項,就必須指定要共用自動建立預留項目的專案。詳情請參閱「共用預留項目最佳做法」。
預留期間。Compute Engine 佈建您要求容量的日期和時間,您可以在此時使用容量。預訂期間包括:
開始時間:您想開始使用預留容量時。根據您預訂的資源,建立及提交要求時,開始時間必須至少為下列其中一個值:
GPU VM:87 小時 (三天又 15 小時)
TPU:24 小時
結束時間。系統不再為您預留要求的容量。此時,Compute Engine 會刪除自動建立的預訂,並根據您為 VM 指定的終止動作,停止或刪除任何使用預訂的 VM。
資源屬性。您要預留的 GPU VM 或 TPU 硬體需求。只有在 VM 的屬性與保留項目的屬性相符時,才能使用保留項目。詳情請參閱「使用預留項目的規定」。
工作負載類型:如果您預留 TPU v5e,則必須根據工作負載類型,指定如何預留運算資源:
批次。對於在單一或多項作業中處理大量資料的工作負載,例如機器學習 (ML) 訓練工作負載。
服務範圍。適用於處理並行要求且需要最低網路延遲的工作負載,例如機器學習推論工作負載。
區域。要預留容量的區域。
申請審查程序
如要透過日曆模式的未來預留要求預留容量,請建立要求並提交至 Google Cloud 以供審查。建立並提交要求後, Google Cloud 會在 1 分鐘內審查要求,然後採取下列其中一項動作:
Google Cloud 核准您的要求:Compute Engine 會預留您要求的資源,並在核准後一分鐘內自動建立空白預留項目。在要求啟動時間,Compute Engine 會增加預訂中的 TPU 數量,以佈建您要求的容量。
發生錯誤。要求失敗,因為要求區域的資源不足。建議您再次查看未來資源的可用性,然後建立並提交新的審查要求。
要求生命週期
下圖顯示 Compute Engine 在日曆模式中,可將未來預訂要求設為的各種狀態:
上圖顯示的狀態和事件流程如下:
PENDING_APPROVAL
:你已建立並提交審查要求。在一分鐘內 Google Cloud 核准要求。APPROVED
: Google Cloud 已核准你的要求。接著,Compute Engine 會在一分鐘內自動建立空白預留項目,並將要求狀態變更為PROCURING
。PROCURING
:Compute Engine 會排定預留資源的佈建作業。要求開始時間前,要求狀態會變更為PROVISIONING
。PROVISIONING
:Compute Engine 正在佈建預留資源,方法是增加自動建立預留資源中的預留 TPU 數量。在要求開始時間,要求狀態會變更為FULFILLED
。FULFILLED
:Compute Engine 已佈建預留資源,您需要支付相關費用。您可以在要求結束時間前建立 VM,使用系統自動建立的預留項目。
在要求結束時間,Compute Engine 會刪除要求和自動建立的預留項目。此外,系統也會根據您為 VM 指定的終止動作,停止或刪除任何使用預留資源的 VM。
耗用佈建容量
Google Cloud 在日曆模式中核准未來預留項目要求後,Compute Engine 會自動建立具有下列特徵的預留項目:
自動建立的預留項目沒有預留的 GPU VM 或 TPU,因此您還無法使用。
自動建立的預留項目會沿用要求中指定的 VM 或 TPU 屬性。
在要求開始時間,Compute Engine 會增加自動建立預留資源中的 GPU VM 或 TPU 數量,以佈建您要求的容量。接著,建立符合下列所有條件的 GPU VM 或 TPU VM,即可使用預留項目:
VM 和預留項目具有相符的屬性。
VM 明確指定預留項目。
VM 使用與預留項目綁定的佈建模式。
VM 必須在預留項目結束時間前停止或刪除。
您可以建立 VM,直到預留項目完全用完或要求結束時間為止。在要求結束時間,Compute Engine 會刪除自動建立的預留項目,並停止或刪除耗用預留項目的任何 VM。
配額
日曆模式的未來預留項目要求必須使用取決於預留項目的佈建模式。這個模型不需要 Compute Engine 配額即可預訂資源。不過,建立要求前,請先確認您有足夠的配額,可供建立 VM 時使用的任何資源 (例如磁碟或 IP 位址),這些資源不屬於預留項目。
定價
在日曆模式中建立未來預留要求時,系統不會向你收費。而是會在發生下列情況時產生費用:
Compute Engine 會佈建您要求的容量。當要求達到
FULFILLED
狀態時,系統會根據 DWS 定價,向您收取已佈建資源的費用。這個計價模式提供 vCPU、GPU 和 TPU,價格較低。您使用的資源不在預留項目涵蓋範圍內。建立使用自動建立預留資源的 VM 時,系統不會再次收取所用資源的費用。您只需為預留項目以外的資源付費,例如磁碟或 IP 位址。
系統會在要求結束時間停止計費。此時,Compute Engine 會刪除自動建立的預留項目,並停止或刪除耗用預留項目的所有 VM。
限制
以下各節說明日曆模式中未來預留要求相關限制。
所有要求的限制
日曆模式中的所有未來預留要求都有下列限制:
預訂資源的時間範圍為 1 到 90 天。
建立並提交要求後,就無法取消、刪除或修改要求。
GPU VM 要求限制
在日曆模式下建立未來預留項目要求時,您只能預留 GPU VM,方法如下:
要求使用 TPU 的限制
在日曆模式中建立未來預留項目要求時,只能預留以下 TPU:
每個要求可預留 1、4、8、16、32、64、128、256、512 或 1,024 個 TPU 晶片。
您可以預留下列 TPU 版本:
您只能預留 1、4 或 8 個 TPU v5e 晶片,用於服務 (
SERVING
) 工作負載類型。您只能在下列區域預留 TPU:
TPU v6e:
asia-northeast1-b
us-east5-a
us-east5-b
TPU v5p:
us-east5-a
適用於 TPU v5e:
如為批次 (
BATCH
) 工作負載類型:us-west4-b
如要提供 (
SERVING
) 工作負載類型:us-central1-a
所有自動建立的預留項目限制
系統為要求自動建立的預留項目有以下限制:
你只能透過下列方式修改預訂:
允許或禁止 Vertex AI 工作使用。
預訂開始時間之後。
您無法將承諾使用折扣 (CUD) 或續用折扣 (SUD) 套用至預留項目。
您無法刪除預留項目,Compute Engine 會在預留項目的結束時間刪除。