網路和 GPU 機器

透過集合功能整理內容 你可以依據偏好儲存及分類內容。

---

較高的網路頻寬可提升 GPU 執行個體的效能，以支援在 Compute Engine 上執行的分散式工作負載。

在 Compute Engine 上，附加 GPU 的執行個體可用的網路頻寬上限如下：

• 針對 A4 和 A3 加速器最佳化執行個體，您可以根據機器類型取得最高 3,600 Gbps 的網路頻寬。
• 對於 A2 和 G2 加速器最佳化執行個體，您可以根據機器類型獲得最高 100 Gbps 的網路頻寬。
• 對於已連接 P100 和 P4 GPU 的 N1 通用執行個體，可用的網路頻寬上限為 32 Gbps。這與未連接 GPU 的 N1 執行個體可用的最高費率相似。如要進一步瞭解網路頻寬，請參閱最大輸出資料速率。
• 如果 N1 一般用途執行個體已連接 T4 和 V100 GPU，您可以根據 GPU 和 vCPU 數量組合，取得最高 100 Gbps 的網路頻寬。

查看網路頻寬和網路介面卡配置

請參閱下文，瞭解各 GPU 機器類型的網路配置和頻寬速度。

A4 和 A3 Ultra 機型

A4 機器類型連接 NVIDIA B200 GPU，A3 Ultra 機器類型連接 NVIDIA H200 141GB GPU。

這些機器類型提供八個 NVIDIA ConnectX-7 (CX7) 網路介面卡 (NIC) 和兩個 Google 虛擬 NIC (gVNIC)。八個 CX7 NIC 可提供總網路頻寬 3,200 Gbps。這些 NIC 僅用於高頻寬 GPU 到 GPU 通訊，無法用於其他網路需求，例如存取公開網際網路。如以下圖表所示，每個 CX7 NIC 都會與一個 GPU 對齊，以最佳化非均勻記憶體存取 (NUMA)。所有八個 GPU 都能使用全對全 NVLink 橋接器連接，快速相互通訊。另外兩張 gVNIC 網路介面卡是智慧型 NIC，可為一般用途的網路需求提供額外 400 Gbps 的網路頻寬。這些網路介面卡可為這些機器提供總網路頻寬 3,600 Gbps。

如要使用這些多個 NIC，您必須建立 3 個虛擬私有雲網路，如下所示：

• 2 個 VPC 網路：每個 gVNIC NIC 都必須連接至不同的 VPC 網路
• 1 個 RDMA 專用的 VPC 網路：所有八個 CX7 NIC 共用相同的 VPC 網路

如要設定這些網路，請參閱 AI Hypercomputer 說明文件中的「建立虛擬私有雲網路」一節。

A3 Mega、High 和 Edge 機型

這類機型連接 H100 80GB GPU。每個機器類型都具有固定的 GPU 數量、vCPU 數量和記憶體大小。

• 單一 NIC A3 VM：如果 A3 VM 已連接 1 到 4 個 GPU，則只能使用單一實體網路介面卡 (NIC)。
• 多 NIC A3 VM：如果 A3 VM 已連接 8 個 GPU，則可使用多個實體 NIC。對於這些 A3 機器類型，NIC 會在 Peripheral Component Interconnect Express (PCIe) 匯流排上依下列方式排列：
  • A3 Mega 機器類型：可使用 8+1 的 NIC 配置。在這種配置中，8 個 NIC 共用相同的 PCIe 匯流排，而 1 個 NIC 則位於不同的 PCIe 匯流排上。
  • A3 High 機型：可使用 4+1 的 NIC 配置。在這種配置中，4 個 NIC 共用相同的 PCIe 匯流排，而 1 個 NIC 則位於另一個 PCIe 匯流排。
  • 針對 A3 Edge 機器類型：可使用 4+1 的 NIC 配置。在這種配置中，4 個 NIC 共用相同的 PCIe 匯流排，而 1 個 NIC 則位於另一個 PCIe 匯流排。這 5 個 NIC 可為每個 VM 提供總網路頻寬 400 Gbps。

  共用相同 PCIe 匯流排的 NIC 具有非均勻記憶體存取 (NUMA) 對齊，每兩個 NVIDIA H100 80GB GPU 對應一個 NIC。這些 NIC 非常適合用於高頻寬的 GPU 對 GPU 專屬通訊。位於獨立 PCIe 匯流排上的實體 NIC 非常適合其他網路需求。如需 A3 High 和 A3 Edge VM 網路設定的操作說明，請參閱「設定巨型封包 MTU 網路」一文。

A2 機型

每個 A2 機器類型連接固定數量的 NVIDIA A100 40GB 或 NVIDIA A100 80 GB GPU。每個機器類型也有固定的 vCPU 數量和記憶體大小。

A2 機器系列分為兩種：

• A2 Ultra：這類機型連接 A100 80GB GPU 和本機 SSD 磁碟。
• A2 Standard：這類機型連接 A100 40GB GPU。

G2 機型

每個 G2 機器類型連接固定數量的 NVIDIA L4 GPU 和 vCPU。每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍會定義您可為每個機器類型分配給 VM 的記憶體容量。您可以在建立 VM 時指定自訂記憶體。

如要讓較高的網路頻寬率 (50 Gbps 以上) 套用至多數 GPU 執行個體，建議您使用 Google 虛擬 NIC (gVNIC)。如要進一步瞭解如何建立使用 gVNIC 的 GPU 執行個體，請參閱「建立使用較高頻寬的 GPU 執行個體」一文。

機型	GPU 數量	GPU 記憶體* (GB GDDR6)	vCPU 數量†	預設的 VM 記憶體 (GB)	自訂 VM 記憶體範圍 (GB)	支援的最大本機 SSD (GB)	網路頻寬上限 (Gbps)‡
g2-standard-4	1	24	4	16	16 到 32	375	10
g2-standard-8	1	24	8	32	32 至 54 歲	375	16
g2-standard-12	1	24	12	48	48 到 54	375	16
g2-standard-16	1	24	16	64	54 至 64 歲	375	32
g2-standard-24	2	48	24	96	96 到 108	750	32
g2-standard-32	1	24	32	128	96 到 128	375	32
g2-standard-48	4	96	48	192	192 至 216	1,500	50
g2-standard-96	8	192	96	384	384 到 432	3,000	100

N1 + GPU 機器類型

如果 N1 一般用途執行個體已連接 T4 和 V100 GPU，您可以根據 GPU 和 vCPU 數量組合，取得最高 100 Gbps 的網路頻寬。如需瞭解其他所有 N1 GPU 執行個體，請參閱總覽。

請參閱下文，瞭解如何根據 GPU 型號、vCPU 和 GPU 數量，計算 T4 和 V100 執行個體可用的最高網路頻寬。

建立高頻寬 GPU 機器

如要建立使用較高網路頻寬的 GPU 執行個體，請根據機器類型使用下列其中一種方法：

• 如要建立使用較高網路頻寬的 A2、G2 和 N1 執行個體，請參閱「為 A2、G2 和 N1 執行個體使用較高的網路頻寬」。如要測試或驗證這些機器的頻寬速度，您可以使用基準測試。詳情請參閱「檢查網路頻寬」。

• 如要建立使用較高網路頻寬的 A3 Mega 執行個體，請參閱「部署 A3 Mega Slurm 叢集以進行 ML 訓練」一文。如要測試或驗證這些機器的頻寬速度，請按照「檢查網路頻寬」一文中的步驟進行基準測試。

• 如果是使用較高網路頻寬的 A3 High 和 A3 Edge 執行個體，請參閱建立已啟用 GPUDirect-TCPX 的 A3 VM。如要測試或驗證這些機器的頻寬速度，您可以使用基準測試。詳情請參閱「檢查網路頻寬」。

• 對於其他加速器最佳化機器類型，您不需要採取任何行動，即可使用較高的網路頻寬；根據說明建立執行個體時，就會使用較高的網路頻寬。如要瞭解如何為其他加速器最佳化機型建立執行個體，請參閱「建立附加 GPU 的 VM」。

後續步驟

• 進一步瞭解 GPU 平台。
• 瞭解如何建立附加 GPU 的執行個體。
• 瞭解如何使用較高的網路頻寬。
• 瞭解 GPU 定價。