Google Cloud 設計了加速器最佳化機器系列,可滿足 GPU 加速工作負載 (例如人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC)) 所需的效能和效率。
加速器最佳化機器系列適用於 A4、A3、A2 和 G2 等機器系列。系列中的每個機器類型都連接特定型號的 NVIDIA GPU,且數量也不同。您也可以將某些 GPU 型號附加至 N1 一般用途機器類型。
依工作負載類型推薦機器系列
下一個章節將根據您的 GPU 工作負載,提供建議的機器系列。
工作負載類型 | 建議的機器類型或系列 |
---|---|
預先訓練模型 | A4、A3 Ultra、A3 Mega、A3 High、A2 如要找出最合適的模型,請參閱 AI 超級電腦說明文件中的預先訓練模型建議。 |
微調模型 | A4、A3 Ultra、A3 Mega、A3 High、A2 如要找出最合適的選項,請參閱 AI 超級電腦說明文件中的模型微調建議。 |
提供推論 | A4、A3 Ultra、A3 Mega、A3 High、A2 如要找出最合適的選項,請參閱 AI 超級電腦說明文件中的推論服務最佳化建議。 |
大量使用圖形的工作負載 | G2、N1+T4 |
高效能運算 | 對於高效能運算工作負載,任何加速器最佳化機器系列都很合適。最適合的選項取決於必須卸載至 GPU 的運算量。 詳情請參閱 AI Hypercomputer 說明文件中的「HPC 最佳化建議」。 |
定價和佈建選項
加速器最佳化機器類型會根據連接的 GPU、預先定義的 vCPU、記憶體和隨附的本機 SSD (如適用) 計費。可套用於加速器最佳化執行個體的折扣會因您使用的佈建選項而異,請參閱下表。如要進一步瞭解加速器最佳化執行個體的定價資訊,請參閱 VM 執行個體定價頁面中的「加速器最佳化機器類型系列」一節。
隨選 (預設) | 保留項目 | Spot VM | |
---|---|---|---|
支援的加速器最佳化機器系列 | 所有機型 (A4 和 A3 Ultra 除外) | 這會因預訂類型而異:
|
全部 |
折扣 | 您可以購買依資源計算的承諾產品,為部分資源享有 承諾使用折扣 (CUD)。不過,透過隨選佈建選項使用的 GPU 和本機 SSD 磁碟,不符合 CUD 的資格。如果您想針對 GPU 和本機 SSD 磁碟接收 CUD,建議改用保留項目配置選項。 |
您可以購買依資源計算的承諾,為加速器最佳化機器類型資源取得 CUD。請注意,針對任何 GPU 和本機 SSD 磁碟的承諾, 必須附加這些資源的保留項目。 |
Spot VM 會自動獲得 Spot VM 定價的折扣。 |
A4 機器系列
A4 機器系列提供最多 224 個 vCPU 和 3,968 GB 記憶體的機器類型。對於大多數 GPU 加速工作負載,A4 可提供高達前一代 GPU 執行個體類型的 3 倍效能。特別推薦 A4 用於大規模機器學習訓練工作負載,例如數百或數千個 GPU。
A4 機器系列還提供下列功能:
已連結的 GPU:已連結的 NVIDIA B200 GPU,每個 GPU 提供 180 GB 的 GPU 記憶體。
CPU 平台:第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids),提供高達 4.0 GHz 的持續單一核心最高 Turbo 時脈頻率。如要進一步瞭解此處理器,請參閱「CPU 平台」。
業界領先的 NVLink 規模:NVIDIA B200 GPU 提供 1,800 GBps 的 GPU NVLink 頻寬,每 GPU 雙向傳輸。
在系統中,8 個 GPU 之間的所有 NVLink 拓樸,匯總 NVLink 頻寬可達 14.4 TBps。
網路通訊協定:針對此機器類型,透過匯集式乙太網路 (RoCE) 的 RDMA 技術,結合 NVIDIA ConnectX-7 網路介面卡 (NIC) 和 Google 資料中心全體四向軌道對齊網路,可提升網路效能。透過利用 RDMA over Converged Ethernet (RoCE),A4 機器在叢集中的虛擬機器之間可達到比 A3 加速器最佳化機器類型 (A3 Ultra 除外) 高出許多的處理量。
提升運算速度和網路連線速度:相較於 A2 機器系列,網路速度最高可提升 4 倍。
如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。
虛擬化最佳化:A4 VM 的 Peripheral Component Interconnect Express (PCIe) 拓樸可提供更準確的區域資訊,工作負載可利用這些資訊來最佳化資料移轉作業。
GPU 也會公開函式層級重設 (FLR),以便在特定情況下,從失敗中順利復原,並支援原子作業,以改善並行性。
儲存空間:本機 SSD 可用於快速的暫存磁碟,或用於將資料餵入 GPU,同時避免 I/O 瓶頸。系統會自動將 12,000 GiB 的本機 SSD 新增至 A4 虛擬機。
您也可以為需要更高儲存空間效能的應用程式,將高達 512 TiB 的 Hyperdisk 連接至此系列中的機器類型。
支援密集配置和拓樸相關排程:當您佈建使用 Cluster Director 提供的功能和服務的 A4 機器時,可以要求密集配置容量的區塊。主機電腦會以實體方式分配到彼此相近的位置,並以資源區塊形式佈建,並與動態 ML 網路結構互連,以盡量減少網路中繼,並盡可能縮短延遲時間。此外,您還可以取得節點和叢集層級的拓樸資訊,用於工作安排。
A4 機器系列提供下列機器類型。
A4 機型
機型 | GPU 數量 | GPU 記憶體* (GB HBM3e) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
a4-highgpu-8g |
8 | 1,440 | 224 | 3,968 | 12,000 | 10 | 3,600 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A4 的限制
- 您只能使用 A4 機器類型的支援的佈建選項,才能要求容量。
- 使用 A4 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區使用 A4 機器類型。
- 您無法在使用 A4 機器類型的 VM 上使用 永久磁碟 (地區性或區域性)。
- A4 機器類型僅適用於 Emerald Rapids CPU 平台。
- 您無法變更 A4 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
- 您無法將 VM 的機器類型變更為 A4 機器類型。如果您需要使用 A4 機器類型的 VM,則必須建立新的 VM。
- A4 機器類型不支援單租戶。
- 您無法在 A4 機器類型上執行 Windows 作業系統。
A4 系列支援的磁碟類型
每個 VM 的磁碟數量上限* | ||||||
---|---|---|---|---|---|---|
機器類型 | 所有磁碟† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Hyperdisk Extreme | 已連結的本機 SSD |
a4-highgpu-8g |
128 | 128 | 不適用 | 不適用 | 8 | 32 |
*Hyperdisk 的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「Hyperdisk 定價」。
†這項限制適用於 Hyperdisk,但不適用於本機 SSD 磁碟。
磁碟和容量限制
如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:
- 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:
對於 vCPU 數量少於 32 的機器類型:
- 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
- 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
對於搭載 32 個以上 vCPU 的機器類型:
- 所有 Hyperdisk 的 512 TiB
- 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
- 所有永久磁碟的總容量上限為 257 TiB
如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。
A3 機器系列
A3 機器系列最多可搭載 224 個 vCPU 和 2,944 GB 記憶體。這個機器系列經過最佳化調整,適用於運算和記憶體密集型、網路受限的機器學習訓練,以及 HPC 工作負載。
A3 系列機器也提供下列功能:
功能 | A3 Ultra | A3 Mega、High、Edge |
---|---|---|
已附加的 GPU | 連接 NVIDIA H200 SXM GPU,每個 GPU 提供 141 GB GPU 記憶體,並提供更大、更快速的記憶體,以支援大型語言模型和 HPC 工作負載。 |
連接 NVIDIA H100 SXM GPU,每個 GPU 提供 80 GB 的 GPU 記憶體,非常適合大型的轉換器式語言模型、資料庫和 HPC。 |
CPU 平台 | 第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids),提供高達 4.0 GHz 的持續單一核心最高 Turbo 時脈頻率。如要進一步瞭解這項處理器,請參閱「CPU 平台」。 |
第 4 代 Intel Xeon 可擴充處理器 (Sapphire Rapids),提供高達 3.3 GHz 的持續單一核心最高 Turbo 時脈速度。如要進一步瞭解這項處理器,請參閱「CPU 平台」。 |
業界領先的 NVLink 規模 | NVIDIA H200 GPU 提供單向 900 GB/s 的 GPU NVLink 頻寬峰值。 在系統中,8 個 GPU 之間採用全對全 NVLink 拓撲時,NVLink 總頻寬可達 7.2 TB/s。 |
NVIDIA H100 GPU 提供的 GPU NVLink 頻寬峰值為 450 GB/s,單向傳輸。 在系統中,8 個 GPU 之間採用全對全 NVLink 拓撲時,NVLink 總頻寬可達 7.2 TB/s。 |
網路協定 | 針對這個機器類型,透過匯集 NVIDIA ConnectX-7 網路介面卡 (NIC) 和資料中心全域四向對齊網路,匯集式以太網路 (RoCE) 可提高網路效能。透過利用 RDMA over Converged Ethernet (RoCE),a3-ultragpu-8g 機器類型在叢集中的 VM 之間達到比其他 A3 加速器最佳化機器類型高出許多的處理量。
|
|
提升運算速度和網路連線 | 與前一代 A2 機器系列相比,網路速度最高可提升 4 倍。 如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。 |
與前一代 A2 機器系列相比,網路速度最高可達 2.5 倍。 如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。 |
虛擬化最佳化 | A3 VM 的 Peripheral Component Interconnect Express (PCIe) 拓樸可提供更準確的區域資訊,工作負載可利用這些資訊來最佳化資料傳輸。 GPU 也會公開函式層級重設 (FLR),以便在特定情況下,從故障中順利復原,並支援原子作業,以改善並行性。 |
|
儲存空間 |
本機 SSD 可用於快速的暫存磁碟,或用於將資料餵入 GPU 時,防止 I/O 瓶頸。本機 SSD 的連接方式如下:
您也可以將最多 512 TiB 的永久磁碟和 Hyperdisk 連接至這些系列中的機器類型,以便為需要更高儲存空間效能的應用程式提供服務。 |
|
密集配置政策支援 | 可讓您進一步控管 VM 在資料中心內的實際位置。 這樣一來,VM 便可在單一可用區內放置,享有更低的延遲時間和更高的頻寬。 詳情請參閱「 關於密集配置政策」。 |
下列機器類型適用於 A3 機器系列。
A3 Ultra 機型
機型 | GPU 數量 | GPU 記憶體* (GB HBM3e) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2,952 | 12,000 | 10 | 3,600 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A3 Ultra 限制
- 您只能使用 A3 Ultra 機器類型的支援的佈建選項,要求容量。
- 使用 A3 Ultra 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區中使用 A3 Ultra 機器類型。
- 您無法在使用 A3 Ultra 機器類型的 VM 上使用 永久磁碟 (地區或區域)。
- A3 Ultra 機器類型僅適用於 Emerald Rapids CPU 平台。
- 您無法變更 A3 Ultra 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
- 您無法將 VM 的機器類型變更為 A3 Ultra 機器類型。如果您需要使用 A3 Ultra 機器類型的 VM,則必須建立新的 VM。
- A3 Ultra 機型不支援單租戶。
- 您無法在 A3 Ultra 機型上執行 Windows 作業系統。
A3 Mega 機型
機型 | GPU 數量 | GPU 記憶體* (GB HBM3) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1,872 | 6,000 | 9 | 1,800 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A3 Mega 限制
- 您只能使用 A3 Mega 機器類型的支援的佈建選項,才能要求容量。
- 使用 A3 Mega 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區使用 A3 Mega 機器類型。
- 您無法在使用 A3 Mega 機器類型的 VM 上使用地區性永久磁碟。
- A3 Mega 機器類型僅適用於 Sapphire Rapids CPU 平台。
- 您無法變更 A3 Mega 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
- 您無法將 VM 的機器類型變更為 A3 Mega 機器類型。如果您需要使用 A3 Mega 機器類型的 VM,則必須建立新的 VM。
- A3 Mega 機器類型不支援單租戶。
- 您無法在 A3 Mega 機器類型上執行 Windows 作業系統。
A3 High 機型
機型 | GPU 數量 | GPU 記憶體* (GB HBM3) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1,500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3,000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1,872 | 6,000 | 5 | 1,000 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A3 High 限制
- 您只能使用 A3 高效能機器類型的支援的佈建選項,要求容量。
- 使用 A3 High 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區使用 A3 High 機器類型。
- 您無法在採用 A3 High 機器類型的 VM 上使用地區性永久磁碟。
- A3 High 機器類型僅適用於 Sapphire Rapids CPU 平台。
- 您無法變更 A3 High 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
- 您無法將 VM 的機器類型變更為 A3 High 機型。如果您需要使用 A3 High 機器類型的 VM,則必須建立新的 VM。
- A3 High 機型不支援單一租戶。
- 您無法在 A3 High 機型上執行 Windows 作業系統。
- 對於
a3-highgpu-1g
、a3-highgpu-2g
和a3-highgpu-4g
機器類型,適用下列限制:-
對於這些機器類型,您必須使用 Spot VM,或是使用 動態工作負載調度器 (DWS) 的功能,例如 MIG 中的調整大小要求。如需這兩種做法的詳細操作說明,請參閱以下內容:
- 如要建立 Spot VM,請參閱「建立加速器最佳化 VM」,並記得將佈建模型設為
SPOT
- 如要在使用動態工作負載調度器的 MIG 中建立大小調整要求,請參閱「建立含 GPU VM 的 MIG」一文。
- 如要建立 Spot VM,請參閱「建立加速器最佳化 VM」,並記得將佈建模型設為
- 您無法搭配這些機器類型使用 Hyperdisk Balanced。
- 無法建立保留項目。
-
對於這些機器類型,您必須使用 Spot VM,或是使用 動態工作負載調度器 (DWS) 的功能,例如 MIG 中的調整大小要求。如需這兩種做法的詳細操作說明,請參閱以下內容:
A3 Edge 機器類型
機型 | GPU 數量 | GPU 記憶體* (GB HBM3) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1,872 | 6,000 | 5 |
|
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A3 Edge 限制
- 您只能使用 A3 Edge 機器類型的支援的佈建選項,才能要求容量。
- 使用 A3 Edge 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區使用 A3 Edge 機器類型。
- 您無法在使用 A3 Edge 機器類型的 VM 上使用地區永久磁碟。
- A3 Edge 機器類型僅適用於 Sapphire Rapids CPU 平台。
- 您無法變更 A3 Edge 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
- 您無法將 VM 的機器類型變更為 A3 Edge 機器類型。如果您需要使用 A3 Edge 機器類型的 VM,則必須建立新的 VM。
- A3 Edge 機器類型不支援單租戶。
- 您無法在 A3 Edge 機器類型上執行 Windows 作業系統。
A3 系列支援的磁碟類型
A3 Ultra
A3 Ultra 虛擬機器可使用下列區塊儲存類型:
- Hyperdisk Balanced (
hyperdisk-balanced
):這是開機磁碟唯一支援的磁碟類型 - Hyperdisk Extreme (
hyperdisk-extreme
) - 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限* | ||||||
---|---|---|---|---|---|---|
機器 類型 |
所有磁碟† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Hyperdisk Extreme | 已連結的 本機 SSD 磁碟 |
a3-ultragpu-8g |
128 | 128 | 不適用 | 不適用 | 8 | 32 |
*Hyperdisk 的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「Hyperdisk 定價」。
†這項限制適用於 Hyperdisk,但不適用於本機 SSD 磁碟。
A3 Mega
A3 Mega VM 可使用下列區塊儲存空間類型:
- 已平衡的永久磁碟 (
pd-balanced
) - SSD (效能) 永久磁碟 (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限* | ||||||
---|---|---|---|---|---|---|
機器 類型 |
所有磁碟† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Hyperdisk Extreme | 已連結的 本機 SSD 磁碟 |
a3-megagpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
†這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。
A3 高
A3 High 虛擬機器可使用下列區塊儲存空間類型:
- 已平衡的永久磁碟 (
pd-balanced
) - SSD (效能) 永久磁碟 (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
):僅支援a3-highgpu-8g
- Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限* | ||||||
---|---|---|---|---|---|---|
機器 類型 |
所有磁碟† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Hyperdisk Extreme | 已連結的 本機 SSD 磁碟 |
a3-highgpu-1g |
128 | 不適用 | 64 | 64 | 不適用 | 2 |
a3-highgpu-2g |
128 | 不適用 | 64 | 64 | 不適用 | 4 |
a3-highgpu-4g |
128 | 不適用 | 64 | 64 | 8 | 8 |
a3-highgpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
†這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。
A3 Edge
A3 Edge VM 可使用下列區塊儲存類型:
- 已平衡的永久磁碟 (
pd-balanced
) - SSD (效能) 永久磁碟 (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Hyperdisk Throughput (
hyperdisk-throughput
) - 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限* | ||||||
---|---|---|---|---|---|---|
機器類型 | 所有磁碟† | Hyperdisk Balanced | Hyperdisk Throughput | Hyperdisk ML | Hyperdisk Extreme | 已連結的本機 SSD |
a3-edgegpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
†這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。
磁碟和容量限制
如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:
- 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:
對於 vCPU 數量少於 32 的機器類型:
- 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
- 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
對於搭載 32 個以上 vCPU 的機器類型:
- 所有 Hyperdisk 的 512 TiB
- 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
- 所有永久磁碟的總容量上限為 257 TiB
如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。
A2 機器系列
A2 機器系列提供 A2 Standard 和 A2 Ultra 機器類型。這些機器類型可搭載 12 到 96 個 vCPU,最多可提供 1,360 GB 記憶體。
A2 機器系列也提供下列功能:
連接的 NVIDIA GPU:每個 A2 機器類型都搭載 NVIDIA A100 GPU。這兩種選項分別適用於 A100 40GB 和 A100 80GB。
業界領先的 NVLink 規模,可提供 600 GBps 的 GPU 對 GPU NVLink 頻寬。舉例來說,配備 16 個 GPU 的系統,其總 NVLink 頻寬可達 9.6 TBps。這 16 個 GPU 可做為單一高效能加速器使用,並提供統一記憶體空間,提供最高 10 petaFLOPS 的運算效能,以及最高 20 petaFLOPS 的推論運算效能,可用於人工智慧、深度學習和機器學習工作負載。
提升運算速度:相較於前一代 NVIDIA V100 GPU,連接的 NVIDIA A100 GPU 可將運算速度提升至最高 10 倍。
使用 A2 機器系列,您最多可獲得 100 Gbps 的網路頻寬。
儲存空間:A2 機器類型支援本機 SSD,可用於快速的暫存磁碟,或在防止 I/O 瓶頸的同時,將資料提供給 GPU,如下所示:
- 以 A2 Standard 機器類型來說,最多可新增 3,000 GiB 的本機 SSD。
- 對於 A2 Ultra 機器類型,本機 SSD 會在您建立 VM 時自動連接。
您也可以將高達 257 TiB 的永久磁碟儲存空間連接至 A2 VM,以滿足需要更高儲存效能的應用程式。
密集配置政策支援:可讓您進一步控管 VM 在資料中心內的實際位置。這樣一來,VM 在單一可用區內的放置位置就能享有較低的延遲和較高的頻寬。詳情請參閱「使用密集配置政策減少延遲時間」。
A2 Ultra 機型
這些機器類型連接固定數量的 A100 80GB GPU。本機 SSD 會自動連接至使用 A2 Ultra 機型建立的 VM。
機型 | GPU 數量 | GPU 記憶體* (GB HBM3) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1,500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1,360 | 3,000 | 100 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A2 Ultra 限制
- 您只能使用 A2 Ultra 機器類型的支援的佈建選項,才能要求容量。
- 使用 A2 Ultra 機器類型的 VM 不會獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區中使用 A2 Ultra 機器類型。
- A2 Ultra 機器類型僅適用於 Cascade Lake 平台。
- 如果 VM 使用 A2 Ultra 機器類型,您就無法變更機器類型。如果您需要使用其他 A2 Ultra 機器類型或任何其他機器類型,就必須建立新的 VM。
- 您無法將任何其他機器類型變更為 A2 Ultra 機器類型。如果您需要使用 A2 Ultra 機器類型的 VM,則必須建立新的 VM。
- 您無法在使用 A2 Ultra 機型類型的 Windows VM 上,對已連結的本機 SSD 進行快速格式化。如要格式化這些本機 SSD,您必須使用 diskpart 公用程式並指定
format fs=ntfs label=tmpfs
,才能進行完整格式化。
A2 標準機型
這些機器類型連接固定數量的 A100 40GB GPU。
機型 | GPU 數量 | GPU 記憶體* (GB HBM3) |
vCPU 數量† | VM 記憶體 (GB) | 已連結的本機 SSD (GiB) | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | 是 | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | 是 | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | 是 | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | 是 | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1,360 | 是 | 100 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
A2 Standard 限制
- 您只能使用 A2 標準機器類型的支援的佈建選項,才能要求容量。
- 使用 A2 Standard 機器類型的 VM 不適用續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區使用 A2 標準機器類型。
- A2 Standard 機器類型僅適用於 Cascade Lake 平台。
- 如果 VM 使用 A2 Standard 機器類型,您只能從一個 A2 Standard 機器類型切換至另一個 A2 Standard 機器類型。您無法變更為任何其他機器類型。詳情請參閱「修改加速器最佳化 VM」。
- 您無法使用 Windows 作業系統搭配 <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard 機器類型。使用 Windows 作業系統時,請選擇其他 A2 Standard 機器類型。</codea2-megagpu-16g<>
- 您無法在使用 A2 Standard 機器類型的 Windows VM 上,快速格式化已連結的本機 SSD。如要格式化這些本機 SSD,您必須使用 diskpart 公用程式並指定
format fs=ntfs label=tmpfs
,才能進行完整格式化。 - A2 Standard 機器類型不支援單租戶。
A2 系列支援的磁碟類型
A2 虛擬機器可使用下列區塊儲存空間類型:
- Hyperdisk ML (
hyperdisk-ml
) - 已平衡的永久磁碟 (
pd-balanced
) - SSD (效能) 永久磁碟 (
pd-ssd
) - 標準永久磁碟 (
pd-standard
) - 本機 SSD:會自動連接至使用 A2 Ultra 機型建立的 VM。
如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:
- 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:
對於 vCPU 數量少於 32 的機器類型:
- 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
- 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
對於搭載 32 個以上 vCPU 的機器類型:
- 所有 Hyperdisk 的 512 TiB
- 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
- 所有永久磁碟的總容量上限為 257 TiB
如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。
G2 機器系列
G2 機器系列可在具備 4 到 96 個 vCPU 和最多 432 GB 記憶體的標準機器類型中使用。這個機器系列已針對推論和圖形工作負載進行最佳化。
G2 機器系列也提供下列功能:
已連接的 NVIDIA GPU:每個 G2 機器類型都有 NVIDIA L4 GPU。
提升推論率:G2 機器類型支援 FP8 (8 位元浮點) 資料類型,可加快機器學習推論率並降低記憶體需求。
新一代圖形效能:NVIDIA L4 GPU 採用第三代 RT 核心和 NVIDIA DLSS 3 (深度學習超級取樣) 技術,可將圖形效能提升至最高 3 倍。
高效能網路頻寬:使用 G2 機器系列,可享有最高 100 Gbps 的網路頻寬。
儲存空間:您最多可為 G2 VM 新增 3,000 GiB 的本機 SSD。這可用於快速的暫存磁碟,或用於將資料餵入 GPU 時,防止 I/O 瓶頸。
您也可以將 Hyperdisk 和 Persistent Disk 磁碟區連結至 G2 VM,以滿足需要更多永久儲存空間的應用程式需求。儲存空間容量上限取決於 VM 的 vCPU 數量。詳情請參閱「支援的磁碟類型」。
密集配置政策支援:可讓您進一步控管 VM 在資料中心內的實際位置。這樣一來,VM 在單一可用區內的放置位置就能享有較低的延遲和較高的頻寬。詳情請參閱「使用密集配置政策減少延遲時間」。
G2 機型
每個 G2 機器類型連接固定數量的 NVIDIA L4 GPU 和 vCPU。每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍會定義您可為每個機器類型分配給 VM 的記憶體容量。您可以在建立 VM 時指定自訂記憶體。
機型 | GPU 數量 | GPU 記憶體* (GB GDDR6) | vCPU 數量† | 預設的 VM 記憶體 (GB) | 自訂 VM 記憶體範圍 (GB) | 支援的最大本機 SSD (GB) | 網路頻寬上限 (Gbps)‡ |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 到 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32 至 54 歲 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48 到 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54 至 64 歲 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 到 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 到 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 至 216 | 1,500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 到 432 | 3,000 | 100 |
*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
†在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
‡最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
G2 限制
- 您只能使用 G2 機器類型的支援的佈建選項來要求容量。
- 您不會針對使用 G2 機器類型的 VM 獲得續用折扣和彈性承諾使用折扣。
- 您只能在特定區域和可用區中使用 G2 機器類型。
- G2 機器類型僅適用於 Cascade Lake 平台。
- 使用 G2 標準機器類型的 VM 不支援標準永久磁碟 (
pd-standard
)。如需支援的磁碟類型,請參閱「G2 支援的磁碟類型」。 - 您無法在 G2 機器類型上建立多重執行個體 GPU。
- 如果您需要變更 G2 VM 的機器類型,請參閱「修改加速器最佳化 VM」。
- 您無法將深度學習 VM 映像檔用作使用 G2 機器類型的 VM 的開機磁碟。
- Container-Optimized OS 目前的預設驅動程式不支援在 G2 機器類型上執行的 L4 GPU。Container-Optimized OS 也只支援特定的驅動程式。如果您想在 G2 機器類型上使用 Container-Optimized OS,請參閱以下注意事項:
- 請使用支援 NVIDIA 建議最低驅動程式版本
525.60.13
或更新版本的 Container-Optimized OS 版本。詳情請參閱 Container-Optimized OS 版本資訊。 - 安裝驅動程式時,請指定適用於 L4 GPU 的最新可用版本。例如:
sudo cos-extensions install gpu -- -version=525.60.13
。
- 請使用支援 NVIDIA 建議最低驅動程式版本
- 在下列情況下,您必須使用 Google Cloud CLI 或 REST 建立 G2 VM:
- 您想指定自訂記憶體值。
- 您想自訂可見的 CPU 核心數量。
G2 系列支援的磁碟類型
G2 虛擬機器可使用下列區塊儲存類型:
- 已平衡的永久磁碟 (
pd-balanced
) - SSD (效能) 永久磁碟 (
pd-ssd
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Throughput (
hyperdisk-throughput
) - 本機 SSD
如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:
- 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:
對於 vCPU 數量少於 32 的機器類型:
- 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
- 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
對於搭載 32 個以上 vCPU 的機器類型:
- 所有 Hyperdisk 的 512 TiB
- 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
- 所有永久磁碟的總容量上限為 257 TiB
如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。