加速器最佳化機器系列


Google Cloud 設計了加速器最佳化機器系列,可滿足 GPU 加速工作負載 (例如人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC)) 所需的效能和效率。

加速器最佳化機器系列適用於 A4、A3、A2 和 G2 等機器系列。系列中的每個機器類型都連接特定型號的 NVIDIA GPU,且數量也不同。您也可以將某些 GPU 型號附加至 N1 一般用途機器類型。

依工作負載類型推薦機器系列

下一個章節將根據您的 GPU 工作負載,提供建議的機器系列。

工作負載類型 建議的機器類型或系列
預先訓練模型 A4、A3 Ultra、A3 Mega、A3 High、A2

如要找出最合適的模型,請參閱 AI 超級電腦說明文件中的預先訓練模型建議

微調模型 A4、A3 Ultra、A3 Mega、A3 High、A2

如要找出最合適的選項,請參閱 AI 超級電腦說明文件中的模型微調建議

提供推論 A4、A3 Ultra、A3 Mega、A3 High、A2

如要找出最合適的選項,請參閱 AI 超級電腦說明文件中的推論服務最佳化建議

大量使用圖形的工作負載 G2、N1+T4
高效能運算 對於高效能運算工作負載,任何加速器最佳化機器系列都很合適。最適合的選項取決於必須卸載至 GPU 的運算量。

詳情請參閱 AI Hypercomputer 說明文件中的「HPC 最佳化建議」。

定價和佈建選項

加速器最佳化機器類型會根據連接的 GPU、預先定義的 vCPU、記憶體和隨附的本機 SSD (如適用) 計費。可套用於加速器最佳化執行個體的折扣會因您使用的佈建選項而異,請參閱下表。如要進一步瞭解加速器最佳化執行個體的定價資訊,請參閱 VM 執行個體定價頁面中的「加速器最佳化機器類型系列」一節。

隨選 (預設) 保留項目 Spot VM
支援的加速器最佳化機器系列 所有機型 (A4 和 A3 Ultra 除外)

這會因預訂類型而異:

全部
折扣

您可以購買依資源計算的承諾產品,為部分資源享有 承諾使用折扣 (CUD)。不過,透過隨選佈建選項使用的 GPU 和本機 SSD 磁碟,不符合 CUD 的資格。如果您想針對 GPU 和本機 SSD 磁碟接收 CUD,建議改用保留項目配置選項。

您可以購買依資源計算的承諾,為加速器最佳化機器類型資源取得 CUD。請注意,針對任何 GPU 和本機 SSD 磁碟的承諾, 必須附加這些資源的保留項目

Spot VM 會自動獲得 Spot VM 定價的折扣。

A4 機器系列

A4 機器系列提供最多 224 個 vCPU 和 3,968 GB 記憶體的機器類型。對於大多數 GPU 加速工作負載,A4 可提供高達前一代 GPU 執行個體類型的 3 倍效能。特別推薦 A4 用於大規模機器學習訓練工作負載,例如數百或數千個 GPU。

A4 機器系列還提供下列功能:

  • 已連結的 GPU:已連結的 NVIDIA B200 GPU,每個 GPU 提供 180 GB 的 GPU 記憶體。

  • CPU 平台:第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids),提供高達 4.0 GHz 的持續單一核心最高 Turbo 時脈頻率。如要進一步瞭解此處理器,請參閱「CPU 平台」。

  • 業界領先的 NVLink 規模:NVIDIA B200 GPU 提供 1,800 GBps 的 GPU NVLink 頻寬,每 GPU 雙向傳輸。

    在系統中,8 個 GPU 之間的所有 NVLink 拓樸,匯總 NVLink 頻寬可達 14.4 TBps。

  • 網路通訊協定:針對此機器類型,透過匯集式乙太網路 (RoCE) 的 RDMA 技術,結合 NVIDIA ConnectX-7 網路介面卡 (NIC) 和 Google 資料中心全體四向軌道對齊網路,可提升網路效能。透過利用 RDMA over Converged Ethernet (RoCE),A4 機器在叢集中的虛擬機器之間可達到比 A3 加速器最佳化機器類型 (A3 Ultra 除外) 高出許多的處理量。

  • 提升運算速度和網路連線速度:相較於 A2 機器系列,網路速度最高可提升 4 倍。

    如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

  • 虛擬化最佳化:A4 VM 的 Peripheral Component Interconnect Express (PCIe) 拓樸可提供更準確的區域資訊,工作負載可利用這些資訊來最佳化資料移轉作業。

    GPU 也會公開函式層級重設 (FLR),以便在特定情況下,從失敗中順利復原,並支援原子作業,以改善並行性。

  • 儲存空間:本機 SSD 可用於快速的暫存磁碟,或用於將資料餵入 GPU,同時避免 I/O 瓶頸。系統會自動將 12,000 GiB 的本機 SSD 新增至 A4 虛擬機。

    您也可以為需要更高儲存空間效能的應用程式,將高達 512 TiB 的 Hyperdisk 連接至此系列中的機器類型。

  • 支援密集配置和拓樸相關排程:當您佈建使用 Cluster Director 提供的功能和服務的 A4 機器時,可以要求密集配置容量的區塊。主機電腦會以實體方式分配到彼此相近的位置,並以資源區塊形式佈建,並與動態 ML 網路結構互連,以盡量減少網路中繼,並盡可能縮短延遲時間。此外,您還可以取得節點和叢集層級的拓樸資訊,用於工作安排。

A4 機器系列提供下列機器類型。

A4 機型

機型 GPU 數量 GPU 記憶體*
(GB HBM3e)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)
a4-highgpu-8g 8 1,440 224 3,968 12,000 10 3,600

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A4 的限制

  • 您只能使用 A4 機器類型的支援的佈建選項,才能要求容量。
  • 使用 A4 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A4 機器類型。
  • 您無法在使用 A4 機器類型的 VM 上使用 永久磁碟 (地區性或區域性)。
  • A4 機器類型僅適用於 Emerald Rapids CPU 平台
  • 您無法變更 A4 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
  • 您無法將 VM 的機器類型變更為 A4 機器類型。如果您需要使用 A4 機器類型的 VM,則必須建立新的 VM。
  • A4 機器類型不支援單租戶
  • 您無法在 A4 機器類型上執行 Windows 作業系統。

A4 系列支援的磁碟類型

每個 VM 的磁碟數量上限*
機器類型 所有磁碟 Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已連結的本機 SSD
a4-highgpu-8g 128 128 不適用 不適用 8 32

*Hyperdisk 的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「Hyperdisk 定價」。
這項限制適用於 Hyperdisk,但不適用於本機 SSD 磁碟。

磁碟和容量限制

如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:

  • 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:

    • 對於 vCPU 數量少於 32 的機器類型:

      • 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
    • 對於搭載 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 的 512 TiB
      • 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
      • 所有永久磁碟的總容量上限為 257 TiB

如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。

A3 機器系列

A3 機器系列最多可搭載 224 個 vCPU 和 2,944 GB 記憶體。這個機器系列經過最佳化調整,適用於運算和記憶體密集型、網路受限的機器學習訓練,以及 HPC 工作負載。

A3 系列機器也提供下列功能:

功能 A3 Ultra A3 Mega、High、Edge
已附加的 GPU

連接 NVIDIA H200 SXM GPU,每個 GPU 提供 141 GB GPU 記憶體,並提供更大、更快速的記憶體,以支援大型語言模型和 HPC 工作負載。

連接 NVIDIA H100 SXM GPU,每個 GPU 提供 80 GB 的 GPU 記憶體,非常適合大型的轉換器式語言模型、資料庫和 HPC。

CPU 平台

第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids),提供高達 4.0 GHz 的持續單一核心最高 Turbo 時脈頻率。如要進一步瞭解這項處理器,請參閱「CPU 平台」。

第 4 代 Intel Xeon 可擴充處理器 (Sapphire Rapids),提供高達 3.3 GHz 的持續單一核心最高 Turbo 時脈速度。如要進一步瞭解這項處理器,請參閱「CPU 平台」。

業界領先的 NVLink 規模

NVIDIA H200 GPU 提供單向 900 GB/s 的 GPU NVLink 頻寬峰值。

在系統中,8 個 GPU 之間採用全對全 NVLink 拓撲時,NVLink 總頻寬可達 7.2 TB/s。

NVIDIA H100 GPU 提供的 GPU NVLink 頻寬峰值為 450 GB/s,單向傳輸。

在系統中,8 個 GPU 之間採用全對全 NVLink 拓撲時,NVLink 總頻寬可達 7.2 TB/s。

網路協定 針對這個機器類型,透過匯集 NVIDIA ConnectX-7 網路介面卡 (NIC) 和資料中心全域四向對齊網路,匯集式以太網路 (RoCE) 可提高網路效能。透過利用 RDMA over Converged Ethernet (RoCE),a3-ultragpu-8g 機器類型在叢集中的 VM 之間達到比其他 A3 加速器最佳化機器類型高出許多的處理量。
  • 對於 A3 Mega 機器類型,GPUDirect-TCPXO 會卸載 TCP 通訊協定,進一步改善 GPUDirect-TCPX。利用 GPUDirect-TCPXO,a3-megagpu-8g 機器類型的網路頻寬可達到 A3 High 和 A3 Edge 機器類型的兩倍。
  • 針對 A3 Edge 和 A3 High 機器類型,GPUDirect-TCPX 可讓資料封包酬載直接從 GPU 記憶體轉移至網路介面,進而提升網路效能。相較於 A2 或 G2 加速器最佳化機器類型,這些機器類型可在叢集中的 VM 之間達到更高的傳輸量,這要歸功於 GPUDirect-TCPX。
提升運算速度和網路連線

與前一代 A2 機器系列相比,網路速度最高可提升 4 倍。

如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

與前一代 A2 機器系列相比,網路速度最高可達 2.5 倍。

如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

虛擬化最佳化

A3 VM 的 Peripheral Component Interconnect Express (PCIe) 拓樸可提供更準確的區域資訊,工作負載可利用這些資訊來最佳化資料傳輸。

GPU 也會公開函式層級重設 (FLR),以便在特定情況下,從故障中順利復原,並支援原子作業,以改善並行性。

儲存空間

本機 SSD 可用於快速的暫存磁碟,或用於將資料餵入 GPU 時,防止 I/O 瓶頸。本機 SSD 的連接方式如下:

  • 系統會自動將 12,000 GiB 的本機 SSD 新增至 A3 Ultra VM。
  • 系統會自動將 6,000 GiB 的本機 SSD 新增至 A3 Mega、High 和 Edge VM。

您也可以將最多 512 TiB 的永久磁碟和 Hyperdisk 連接至這些系列中的機器類型,以便為需要更高儲存空間效能的應用程式提供服務。

密集配置政策支援

可讓您進一步控管 VM 在資料中心內的實際位置。

這樣一來,VM 便可在單一可用區內放置,享有更低的延遲時間和更高的頻寬。

詳情請參閱「 關於密集配置政策」。

下列機器類型適用於 A3 機器系列。

A3 Ultra 機型

機型 GPU 數量 GPU 記憶體*
(GB HBM3e)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)
a3-ultragpu-8g 8 1128 224 2,952 12,000 10 3,600

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A3 Ultra 限制

  • 您只能使用 A3 Ultra 機器類型的支援的佈建選項,要求容量。
  • 使用 A3 Ultra 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區中使用 A3 Ultra 機器類型。
  • 您無法在使用 A3 Ultra 機器類型的 VM 上使用 永久磁碟 (地區或區域)。
  • A3 Ultra 機器類型僅適用於 Emerald Rapids CPU 平台
  • 您無法變更 A3 Ultra 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
  • 您無法將 VM 的機器類型變更為 A3 Ultra 機器類型。如果您需要使用 A3 Ultra 機器類型的 VM,則必須建立新的 VM。
  • A3 Ultra 機型不支援單租戶
  • 您無法在 A3 Ultra 機型上執行 Windows 作業系統。

A3 Mega 機型

機型 GPU 數量 GPU 記憶體*
(GB HBM3)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A3 Mega 限制

  • 您只能使用 A3 Mega 機器類型的支援的佈建選項,才能要求容量。
  • 使用 A3 Mega 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A3 Mega 機器類型。
  • 您無法在使用 A3 Mega 機器類型的 VM 上使用地區性永久磁碟
  • A3 Mega 機器類型僅適用於 Sapphire Rapids CPU 平台
  • 您無法變更 A3 Mega 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
  • 您無法將 VM 的機器類型變更為 A3 Mega 機器類型。如果您需要使用 A3 Mega 機器類型的 VM,則必須建立新的 VM。
  • A3 Mega 機器類型不支援單租戶
  • 您無法在 A3 Mega 機器類型上執行 Windows 作業系統。

A3 High 機型

機型 GPU 數量 GPU 記憶體*
(GB HBM3)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1,500 1 50
a3-highgpu-4g 4 320 104 936 3,000 1 100
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A3 High 限制

  • 您只能使用 A3 高效能機器類型的支援的佈建選項,要求容量。
  • 使用 A3 High 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A3 High 機器類型。
  • 您無法在採用 A3 High 機器類型的 VM 上使用地區性永久磁碟
  • A3 High 機器類型僅適用於 Sapphire Rapids CPU 平台
  • 您無法變更 A3 High 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
  • 您無法將 VM 的機器類型變更為 A3 High 機型。如果您需要使用 A3 High 機器類型的 VM,則必須建立新的 VM。
  • A3 High 機型不支援單一租戶
  • 您無法在 A3 High 機型上執行 Windows 作業系統。
  • 對於 a3-highgpu-1ga3-highgpu-2ga3-highgpu-4g 機器類型,適用下列限制:
    • 對於這些機器類型,您必須使用 Spot VM,或是使用 動態工作負載調度器 (DWS) 的功能,例如 MIG 中的調整大小要求。如需這兩種做法的詳細操作說明,請參閱以下內容:
    • 您無法搭配這些機器類型使用 Hyperdisk Balanced。
    • 無法建立保留項目。
    如果您嘗試使用標準佈建作業建立 VM,或嘗試為這些機器類型建立預訂,就會收到錯誤訊息

A3 Edge 機器類型

機型 GPU 數量 GPU 記憶體*
(GB HBM3)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)
a3-edgegpu-8g 8 640 208 1,872 6,000 5
  • 800:適用於 asia-south1 和 northamerica-northeast2
  • 400:適用於所有其他 A3 Edge 區域

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A3 Edge 限制

  • 您只能使用 A3 Edge 機器類型的支援的佈建選項,才能要求容量。
  • 使用 A3 Edge 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A3 Edge 機器類型。
  • 您無法在使用 A3 Edge 機器類型的 VM 上使用地區永久磁碟
  • A3 Edge 機器類型僅適用於 Sapphire Rapids CPU 平台
  • 您無法變更 A3 Edge 機器類型 VM 的機器類型。如果需要變更機器類型,則必須建立新的 VM。
  • 您無法將 VM 的機器類型變更為 A3 Edge 機器類型。如果您需要使用 A3 Edge 機器類型的 VM,則必須建立新的 VM。
  • A3 Edge 機器類型不支援單租戶
  • 您無法在 A3 Edge 機器類型上執行 Windows 作業系統。

A3 系列支援的磁碟類型

A3 Ultra

A3 Ultra 虛擬機器可使用下列區塊儲存類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是開機磁碟唯一支援的磁碟類型
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限*
機器
類型
所有磁碟 Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已連結的
本機 SSD
磁碟
a3-ultragpu-8g 128 128 不適用 不適用 8 32

*Hyperdisk 的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「Hyperdisk 定價」。
這項限制適用於 Hyperdisk,但不適用於本機 SSD 磁碟。

A3 Mega

A3 Mega VM 可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限*
機器
類型
所有磁碟 Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已連結的
本機 SSD
磁碟
a3-megagpu-8g 128 32 64 64 8 16

*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。

A3 高

A3 High 虛擬機器可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced):僅支援 a3-highgpu-8g
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限*
機器
類型
所有磁碟 Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已連結的
本機 SSD
磁碟
a3-highgpu-1g 128 不適用 64 64 不適用 2
a3-highgpu-2g 128 不適用 64 64 不適用 4
a3-highgpu-4g 128 不適用 64 64 8 8
a3-highgpu-8g 128 32 64 64 8 16

*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。

A3 Edge

A3 Edge VM 可使用下列區塊儲存類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:會自動新增至使用任何 A3 機器類型建立的 VM
每個 VM 的磁碟數量上限*
機器類型 所有磁碟 Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已連結的本機 SSD
a3-edgegpu-8g 128 32 64 64 8 16

*Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價資訊,請參閱「永久磁碟和 Hyperdisk 定價」。
這項限制適用於 Persistent Disk 和 Hyperdisk,但不適用於本機 SSD 磁碟。

磁碟和容量限制

如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:

  • 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:

    • 對於 vCPU 數量少於 32 的機器類型:

      • 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
    • 對於搭載 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 的 512 TiB
      • 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
      • 所有永久磁碟的總容量上限為 257 TiB

如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。

A2 機器系列

A2 機器系列提供 A2 Standard 和 A2 Ultra 機器類型。這些機器類型可搭載 12 到 96 個 vCPU,最多可提供 1,360 GB 記憶體。

A2 機器系列也提供下列功能:

  • 連接的 NVIDIA GPU:每個 A2 機器類型都搭載 NVIDIA A100 GPU。這兩種選項分別適用於 A100 40GB 和 A100 80GB。

  • 業界領先的 NVLink 規模,可提供 600 GBps 的 GPU 對 GPU NVLink 頻寬。舉例來說,配備 16 個 GPU 的系統,其總 NVLink 頻寬可達 9.6 TBps。這 16 個 GPU 可做為單一高效能加速器使用,並提供統一記憶體空間,提供最高 10 petaFLOPS 的運算效能,以及最高 20 petaFLOPS 的推論運算效能,可用於人工智慧、深度學習和機器學習工作負載。

  • 提升運算速度:相較於前一代 NVIDIA V100 GPU,連接的 NVIDIA A100 GPU 可將運算速度提升至最高 10 倍。

    使用 A2 機器系列,您最多可獲得 100 Gbps 的網路頻寬。

  • 儲存空間:A2 機器類型支援本機 SSD,可用於快速的暫存磁碟,或在防止 I/O 瓶頸的同時,將資料提供給 GPU,如下所示:

    • 以 A2 Standard 機器類型來說,最多可新增 3,000 GiB 的本機 SSD。
    • 對於 A2 Ultra 機器類型,本機 SSD 會在您建立 VM 時自動連接。

    您也可以將高達 257 TiB 的永久磁碟儲存空間連接至 A2 VM,以滿足需要更高儲存效能的應用程式。

  • 密集配置政策支援:可讓您進一步控管 VM 在資料中心內的實際位置。這樣一來,VM 在單一可用區內的放置位置就能享有較低的延遲和較高的頻寬。詳情請參閱「使用密集配置政策減少延遲時間」。

A2 Ultra 機型

這些機器類型連接固定數量的 A100 80GB GPU。本機 SSD 會自動連接至使用 A2 Ultra 機型建立的 VM。

機型 GPU 數量 GPU 記憶體*
(GB HBM3)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 網路頻寬上限 (Gbps)
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1,500 50
a2-ultragpu-8g 8 640 96 1,360 3,000 100

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A2 Ultra 限制

  • 您只能使用 A2 Ultra 機器類型的支援的佈建選項,才能要求容量。
  • 使用 A2 Ultra 機器類型的 VM 不會獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區中使用 A2 Ultra 機器類型。
  • A2 Ultra 機器類型僅適用於 Cascade Lake 平台
  • 如果 VM 使用 A2 Ultra 機器類型,您就無法變更機器類型。如果您需要使用其他 A2 Ultra 機器類型或任何其他機器類型,就必須建立新的 VM。
  • 您無法將任何其他機器類型變更為 A2 Ultra 機器類型。如果您需要使用 A2 Ultra 機器類型的 VM,則必須建立新的 VM。
  • 您無法在使用 A2 Ultra 機型類型的 Windows VM 上,對已連結的本機 SSD 進行快速格式化。如要格式化這些本機 SSD,您必須使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs,才能進行完整格式化。

A2 標準機型

這些機器類型連接固定數量的 A100 40GB GPU

機型 GPU 數量 GPU 記憶體*
(GB HBM3)
vCPU 數量 VM 記憶體 (GB) 已連結的本機 SSD (GiB) 網路頻寬上限 (Gbps)
a2-highgpu-1g 1 40 12 85 24
a2-highgpu-2g 2 80 24 170 32
a2-highgpu-4g 4 160 48 340 50
a2-highgpu-8g 8 320 96 680 100
a2-megagpu-16g 16 640 96 1,360 100

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

A2 Standard 限制

  • 您只能使用 A2 標準機器類型的支援的佈建選項,才能要求容量。
  • 使用 A2 Standard 機器類型的 VM 不適用續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A2 標準機器類型。
  • A2 Standard 機器類型僅適用於 Cascade Lake 平台
  • 如果 VM 使用 A2 Standard 機器類型,您只能從一個 A2 Standard 機器類型切換至另一個 A2 Standard 機器類型。您無法變更為任何其他機器類型。詳情請參閱「修改加速器最佳化 VM」。
  • 您無法使用 Windows 作業系統搭配 <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard 機器類型。使用 Windows 作業系統時,請選擇其他 A2 Standard 機器類型。</codea2-megagpu-16g<>
  • 您無法在使用 A2 Standard 機器類型的 Windows VM 上,快速格式化已連結的本機 SSD。如要格式化這些本機 SSD,您必須使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs,才能進行完整格式化。
  • A2 Standard 機器類型不支援單租戶

A2 系列支援的磁碟類型

A2 虛擬機器可使用下列區塊儲存空間類型:

  • Hyperdisk ML (hyperdisk-ml)
  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能) 永久磁碟 (pd-ssd)
  • 標準永久磁碟 (pd-standard)
  • 本機 SSD:會自動連接至使用 A2 Ultra 機型建立的 VM。

如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:

  • 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:

    • 對於 vCPU 數量少於 32 的機器類型:

      • 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
    • 對於搭載 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 的 512 TiB
      • 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
      • 所有永久磁碟的總容量上限為 257 TiB

如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。

G2 機器系列

G2 機器系列可在具備 4 到 96 個 vCPU 和最多 432 GB 記憶體的標準機器類型中使用。這個機器系列已針對推論和圖形工作負載進行最佳化。

G2 機器系列也提供下列功能:

  • 已連接的 NVIDIA GPU:每個 G2 機器類型都有 NVIDIA L4 GPU

  • 提升推論率:G2 機器類型支援 FP8 (8 位元浮點) 資料類型,可加快機器學習推論率並降低記憶體需求。

  • 新一代圖形效能:NVIDIA L4 GPU 採用第三代 RT 核心NVIDIA DLSS 3 (深度學習超級取樣) 技術,可將圖形效能提升至最高 3 倍。

  • 高效能網路頻寬:使用 G2 機器系列,可享有最高 100 Gbps 的網路頻寬。

  • 儲存空間:您最多可為 G2 VM 新增 3,000 GiB 的本機 SSD。這可用於快速的暫存磁碟,或用於將資料餵入 GPU 時,防止 I/O 瓶頸。

    您也可以將 Hyperdisk 和 Persistent Disk 磁碟區連結至 G2 VM,以滿足需要更多永久儲存空間的應用程式需求。儲存空間容量上限取決於 VM 的 vCPU 數量。詳情請參閱「支援的磁碟類型」。

  • 密集配置政策支援:可讓您進一步控管 VM 在資料中心內的實際位置。這樣一來,VM 在單一可用區內的放置位置就能享有較低的延遲和較高的頻寬。詳情請參閱「使用密集配置政策減少延遲時間」。

G2 機型

每個 G2 機器類型連接固定數量的 NVIDIA L4 GPU 和 vCPU。每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍會定義您可為每個機器類型分配給 VM 的記憶體容量。您可以在建立 VM 時指定自訂記憶體。

機型 GPU 數量 GPU 記憶體* (GB GDDR6) vCPU 數量 預設的 VM 記憶體 (GB) 自訂 VM 記憶體範圍 (GB) 支援的最大本機 SSD (GB) 網路頻寬上限 (Gbps)
g2-standard-4 1 24 4 16 16 到 32 375 10
g2-standard-8 1 24 8 32 32 至 54 歲 375 16
g2-standard-12 1 24 12 48 48 到 54 375 16
g2-standard-16 1 24 16 64 54 至 64 歲 375 32
g2-standard-24 2 48 24 96 96 到 108 750 32
g2-standard-32 1 24 32 128 96 到 128 375 32
g2-standard-48 4 96 48 192 192 至 216 1,500 50
g2-standard-96 8 192 96 384 384 到 432 3,000 100

*GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。它與 VM 的記憶體分開,專門用於處理圖像密集型工作負載的較高頻寬需求。
在其中一個可用的 CPU 平台上,我們會以單一硬體超執行緒的形式提供 vCPU。
最大傳出頻寬不得超過指定數字。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。

G2 限制

  • 您只能使用 G2 機器類型的支援的佈建選項來要求容量。
  • 您不會針對使用 G2 機器類型的 VM 獲得續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區中使用 G2 機器類型。
  • G2 機器類型僅適用於 Cascade Lake 平台
  • 使用 G2 標準機器類型的 VM 不支援標準永久磁碟 (pd-standard)。如需支援的磁碟類型,請參閱「G2 支援的磁碟類型」。
  • 您無法在 G2 機器類型上建立多重執行個體 GPU
  • 如果您需要變更 G2 VM 的機器類型,請參閱「修改加速器最佳化 VM」。
  • 您無法將深度學習 VM 映像檔用作使用 G2 機器類型的 VM 的開機磁碟。
  • Container-Optimized OS 目前的預設驅動程式不支援在 G2 機器類型上執行的 L4 GPU。Container-Optimized OS 也只支援特定的驅動程式。如果您想在 G2 機器類型上使用 Container-Optimized OS,請參閱以下注意事項:
    • 請使用支援 NVIDIA 建議最低驅動程式版本 525.60.13 或更新版本的 Container-Optimized OS 版本。詳情請參閱 Container-Optimized OS 版本資訊
    • 安裝驅動程式時,請指定適用於 L4 GPU 的最新可用版本。例如:sudo cos-extensions install gpu -- -version=525.60.13
  • 在下列情況下,您必須使用 Google Cloud CLI 或 REST 建立 G2 VM
    • 您想指定自訂記憶體值。
    • 您想自訂可見的 CPU 核心數量。

G2 系列支援的磁碟類型

G2 虛擬機器可使用下列區塊儲存類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能) 永久磁碟 (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD

如果機器類型支援,您可以在 VM 上混合使用 Hyperdisk 和 Persistent Disk 磁碟區,但須遵守下列限制:

  • 每個 VM 的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的磁碟總容量上限 (以 TiB 為單位) 不得超過:

    • 對於 vCPU 數量少於 32 的機器類型:

      • 所有 Hyperdisk 或所有 Persistent Disk 的大小上限為 257 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時的大小上限為 257 TiB
    • 對於搭載 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 的 512 TiB
      • 512 TiB (適用於 Hyperdisk 和 Persistent Disk 的混合型磁碟)
      • 所有永久磁碟的總容量上限為 257 TiB

如要進一步瞭解容量限制,請參閱「 每個 VM 的 Hyperdisk 容量限制」和「永久磁碟的最大容量」。

後續步驟