네트워크 대역폭과 GPU

네트워크 대역폭이 높을수록 Compute Engine 가상 머신(VM) 인스턴스에서 실행되는 분산 워크로드의 성능을 향상시킬 수 있습니다.

개요

Compute Engine에서 GPU가 연결된 VM에 사용 가능한 최대 네트워크 대역폭은 다음과 같습니다.

  • A3 가속기 최적화 VM의 경우 최대 1,800Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • A2 및 G2 가속기 최적화 VM의 경우 머신 유형에 따라 최대 100Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • P100 및 P4 GPU가 연결된 N1 범용 VM의 경우 최대 32Gbps 네트워크 대역폭을 사용할 수 있습니다. 이는 GPU가 연결되지 않은 N1 VM에서 사용 가능한 최대 비율과 비슷합니다. 네트워크 대역폭에 대한 자세한 내용은 최대 이그레스 데이터 속도를 참조하세요.
  • T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다.

네트워크 대역폭 및 Google Virtual NIC(gVNIC)

GPU VM에 적용되는 더 높은 네트워크 대역폭 비율(50Gbps 이상)을 얻기 위해서는 Google Virtual NIC(gVNIC)를 사용하는 것이 좋습니다. gVNIC를 사용하는 GPU VM 만들기에 대한 자세한 내용은 더 높은 대역폭을 사용하는 GPU VM 만들기를 참조하세요.

가속기 최적화 VM

이 섹션에서는 A3, A2, G2 가속기 최적화 VM에 사용 가능한 최대 네트워크 대역폭에 대해 설명합니다.

A3 VM

각 A3 머신 유형에는 고정된 NVIDIA H100 80GB GPU, 고정된 vCPU 수, 고정된 VM 메모리 크기가 연결됩니다.

A3 VM에 여러 물리적 네트워크 인터페이스 카드(NIC)도 연결되어 있습니다. 이러한 각 NIC의 최대 대역폭은 200Gbps입니다. 각 A3 머신 유형에 대해 NIC는 PCIe(Peripheral Component Interconnect Express) 버스에서 다음과 같이 배열됩니다.
  • A3 High 머신 유형: 4+1의 NIC 배열을 사용할 수 있습니다. 이렇게 구성하면 4개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.
  • A3 Mega 머신 유형: 8+1의 NIC 배열을 사용할 수 있습니다. 이렇게 구성하면 8개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.

동일한 PCIe 버스를 공유하는 NIC는 NVIDIA H100 80GB GPU 2개당 NIC 1개의 비균일 메모리 액세스(NUMA) 정렬을 갖습니다. 이러한 NIC는 전용 고대역폭 GPU 간 통신에 적합합니다. 별도의 PCIe 버스에 있는 물리적 NIC는 다른 네트워킹 요구사항에 적합합니다.

A3 High

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000

A3 Mega

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU에서 사용 가능한 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

A2 VM

각 A2 머신 유형에는 고정된 NVIDIA A100 40GB 또는 NVIDIA A100 80GB GPU가 연결됩니다. 각 머신 유형에는 또한 고정된 vCPU 개수 및 메모리 크기가 포함됩니다.

A2 머신 시리즈는 두 가지 유형으로 사용할 수 있습니다.

  • A2 표준: 이 머신 유형에는 A100 40GB GPU가 연결됩니다.
  • A2 울트라: 이 머신 유형에는 A100 80GB GPU 및 로컬 SSD 디스크가 연결됩니다.

A2 표준

머신 유형 GPU 수 vCPU 수 VM 메모리(GB) 최대 네트워크 대역폭(Gbps)
a2-highgpu-1g 1 12 85 24
a2-highgpu-2g 2 24 170 32
a2-highgpu-4g 4 48 340 50
a2-highgpu-8g 8 96 680 100
a2-highgpu-16g 16 96 1,360 100

A2 울트라

머신 유형 GPU 수 vCPU 수 VM 메모리(GB) 최대 네트워크 대역폭(Gbps)
a2-ultragpu-1g 1 12 170 24
a2-ultragpu-2g 2 24 340 32
a2-ultragpu-4g 4 48 680 50
a2-ultragpu-8g 8 96 1,360 100

G2 VM 구성

각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU 및 vCPU가 연결되어 있습니다. 각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형의 VM에 할당할 수 있는 메모리 양을 정의합니다. VM을 생성하는 동안 커스텀 메모리를 지정할 수 있습니다.

머신 유형 GPU 수 vCPU 수 기본 VM 메모리(GB) 커스텀 VM 메모리 범위(GB) 최대 네트워크 대역폭(Gbps)
g2-standard-4 1 4 16 16~32 10
g2-standard-8 1 8 32 32~54 16
g2-standard-12 1 12 48 48~54 16
g2-standard-16 1 16 64 54~64 32
g2-standard-24 2 24 96 96~108 32
g2-standard-32 1 32 128 96~128 32
g2-standard-48 4 48 192 192~216 50
g2-standard-96 8 96 384 384~432 100

N1 GPU VM

T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다. 다른 모든 N1 GPU VM의 경우 개요를 참조하세요.

다음 섹션을 검토해서 GPU 모델, vCPU, GPU 수에 따라 T4 및 V100 VM에 사용 가능한 최대 네트워크 대역폭을 계산합니다.

vCPU 5개 이하

vCPU가 5개 이하인 T4 및 V100 VM의 경우 사용 가능한 최대 네트워크 대역폭은 10Gbps입니다.

vCPU 5개 초과

vCPU가 5개를 초과하는 T4 및 V100 VM의 경우 최대 네트워크 대역폭은 해당 VM의 vCPU 및 GPU 개수를 기준으로 계산됩니다.

GPU 모델 GPU 수 최대 네트워크 대역폭 계산
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

고대역폭 VM 만들기

더 높은 네트워크 대역폭을 사용하는 VM을 만들려면 더 높은 네트워크 대역폭 사용을 참조하세요.

특정 구성의 대역폭 속도를 테스트하거나 확인하려면 벤치마킹 테스트를 사용할 수 있습니다. 자세한 내용은 네트워크 대역폭 확인을 참조하세요.

다음 단계