Larguras de banda de rede mais altas podem melhorar o desempenho das instâncias de GPU para oferecer suporte a cargas de trabalho distribuídas em execução no Compute Engine.
A largura de banda máxima de rede disponível para instâncias com GPUs conectadas no Compute Engine é a seguinte:
- Para instâncias otimizadas para aceleradores A4 e A3, você pode obter uma largura de banda de rede máxima de até 3.600 Gbps, com base no tipo de máquina.
- Para instâncias otimizadas para aceleradores A2 e G2, você pode obter uma largura de banda de rede máxima de até 100 Gbps, com base no tipo de máquina.
- Para instâncias N1 de uso geral que possuem GPUs P100 e P4 conectadas, está disponível uma largura de banda de rede máxima de 32 Gbps. Isso é semelhante à taxa máxima disponível para instâncias N1 que não possuem GPUs anexadas. Para obter mais informações sobre larguras de banda de rede, consulte taxa máxima de dados de saída .
- Para instâncias N1 de uso geral com GPUs T4 e V100 conectadas, você pode obter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da contagem de GPU e vCPU.
Revise a largura de banda da rede e o arranjo da NIC
Use a seção a seguir para revisar o arranjo da rede e a velocidade da largura de banda para cada tipo de máquina GPU.
Tipos de máquinas A4 e A3 Ultra
Os tipos de máquina A4 possuem GPUs NVIDIA B200 conectadas e os tipos de máquina A3 Ultra possuem GPUs NVIDIA H200 de 141 GB conectadas.
Esses tipos de máquinas fornecem oito placas de interface de rede (NICs) NVIDIA ConnectX-7 (CX7) e duas NICs virtuais do Google (gVNIC). As oito NICs CX7 oferecem uma largura de banda total de rede de 3.200 Gbps. Essas NICs são dedicadas apenas para comunicação de GPU para GPU de alta largura de banda e não podem ser usadas para outras necessidades de rede, como acesso público à Internet. Conforme descrito no diagrama a seguir, cada NIC CX7 está alinhada com uma GPU para otimizar o acesso não uniforme à memória (NUMA). Todas as oito GPUs podem se comunicar rapidamente entre si usando a ponte NVLink que as conecta. As outras duas placas de interface de rede gVNIC são NICs inteligentes que fornecem 400 Gbps adicionais de largura de banda de rede para requisitos de rede de uso geral. Combinadas, as placas de interface de rede fornecem uma largura de banda de rede máxima total de 3.600 Gbps para essas máquinas.
Para usar essas múltiplas NICs, você precisa criar três redes de nuvem privada virtual da seguinte maneira:
- 2 redes VPC: cada NIC gVNIC deve se conectar a uma rede VPC diferente
- 1 rede VPC para RDMA: todas as oito NICs CX7 compartilham a mesma rede VPC
Para configurar essas redes, consulte Criar redes VPC na documentação do AI Hypercomputer.
VMs A4
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3e) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g | 8 | 1.440 | 224 | 3.968 | 12.000 | 10 | 3.600 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
VMs A3 Ultra
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3e) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g | 8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Tipos de máquinas A3 Mega, High e Edge
Esses tipos de máquinas possuem GPUs H100 de 80 GB conectadas. Cada um desses tipos de máquina tem uma contagem fixa de GPU, contagem de vCPU e tamanho de memória.
- VMs A3 de NIC única : para VMs A3 com 1 a 4 GPUs conectadas, apenas uma única placa de interface de rede física (NIC) está disponível.
- VMs A3 multi-NIC : para VMs A3 com 8 GPUS conectadas, várias NICs físicas estão disponíveis. Para esses tipos de máquinas A3, as NICs são organizadas da seguinte forma em um barramento Peripheral Component Interconnect Express (PCIe):
- Para o tipo de máquina A3 Mega : um arranjo NIC de 8+1 está disponível. Com esse arranjo, 8 NICs compartilham o mesmo barramento PCIe e 1 NIC reside em um barramento PCIe separado.
- Para o tipo de máquina A3 High : um arranjo NIC de 4+1 está disponível. Com esse arranjo, 4 NICs compartilham o mesmo barramento PCIe e 1 NIC reside em um barramento PCIe separado.
- Para o tipo de máquina A3 Edge : um arranjo NIC de 4+1 está disponível. Com esse arranjo, 4 NICs compartilham o mesmo barramento PCIe e 1 NIC reside em um barramento PCIe separado. Essas 5 NICs fornecem uma largura de banda total de rede de 400 Gbps para cada VM.
NICs que compartilham o mesmo barramento PCIe têm um alinhamento de acesso não uniforme à memória (NUMA) de uma NIC por duas GPUs NVIDIA H100 de 80 GB. Essas NICs são ideais para comunicação dedicada de GPU para GPU de alta largura de banda. A NIC física que reside em um barramento PCIe separado é ideal para outras necessidades de rede. Para obter instruções sobre como configurar a rede para VMs A3 High e A3 Edge, consulte configurar redes MTU de quadro jumbo .
A3Mega
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
A3 alto
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g | 1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g | 2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g | 4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
Borda A3
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Tipos de máquinas A2
Cada tipo de máquina A2 possui um número fixo de GPUs NVIDIA A100 de 40 GB ou NVIDIA A100 de 80 GB conectadas. Cada tipo de máquina também possui uma contagem fixa de vCPU e um tamanho de memória.
A série de máquinas A2 está disponível em dois tipos:
- A2 Ultra: esses tipos de máquinas possuem GPUs A100 de 80 GB e discos SSD locais conectados.
- Padrão A2: esses tipos de máquinas possuem GPUs A100 de 40 GB conectadas.
A2 ultra
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g | 1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g | 2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g | 4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g | 8 | 640 | 96 | 1.360 | 3.000 | 100 |
Padrão A2
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g | 1 | 40 | 12 | 85 | Sim | 24 |
a2-highgpu-2g | 2 | 80 | 24 | 170 | Sim | 32 |
a2-highgpu-4g | 4 | 160 | 48 | 340 | Sim | 50 |
a2-highgpu-8g | 8 | 320 | 96 | 680 | Sim | 100 |
a2-megagpu-16g | 16 | 640 | 96 | 1.360 | Sim | 100 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Tipos de máquinas G2
Cada tipo de máquina G2 possui um número fixo de GPUs NVIDIA L4 e vCPUs conectadas. Cada tipo de máquina G2 também possui uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que você pode alocar para sua VM para cada tipo de máquina. Você pode especificar sua memória personalizada durante a criação da VM.
Para obter taxas de largura de banda de rede mais altas (50 Gbps ou superiores) aplicadas à maioria das instâncias de GPU, é recomendável usar o Google Virtual NIC (gVNIC). Para obter mais informações sobre como criar instâncias de GPU que usam gVNIC, consulte Criando instâncias de GPU que usam larguras de banda maiores .
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB GDDR6) | Contagem de vCPUs † | Memória VM padrão (GB) | Intervalo de memória VM personalizado (GB) | Máximo SSD local suportado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 | 1 | 24 | 4 | 16 | 16 a 32 | 375 | 10 |
g2-standard-8 | 1 | 24 | 8 | 32 | 32 a 54 | 375 | 16 |
g2-standard-12 | 1 | 24 | 12 | 48 | 48 a 54 | 375 | 16 |
g2-standard-16 | 1 | 24 | 16 | 64 | 54 a 64 | 375 | 32 |
g2-standard-24 | 2 | 48 | 24 | 96 | 96 a 108 | 750 | 32 |
g2-standard-32 | 1 | 24 | 32 | 128 | 96 a 128 | 375 | 32 |
g2-standard-48 | 4 | 96 | 48 | 192 | 192 a 216 | 1.500 | 50 |
g2-standard-96 | 8 | 192 | 96 | 384 | 384 a 432 | 3.000 | 100 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Tipos de máquina N1 + GPU
Para instâncias N1 de uso geral com GPUs T4 e V100 conectadas, você pode obter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da contagem de GPU e vCPU. Para todas as outras instâncias de GPU N1, consulte Visão geral .
Revise a seção a seguir para calcular a largura de banda máxima de rede disponível para suas instâncias T4 e V100 com base no modelo de GPU, vCPU e contagem de GPU.
Menos de 5 vCPUs
Para instâncias T4 e V100 que possuem 5 vCPUs ou menos, está disponível uma largura de banda de rede máxima de 10 Gbps.
Mais de 5 vCPUs
Para instâncias T4 e V100 que têm mais de cinco vCPUs, a largura de banda máxima da rede é calculada com base no número de vCPUs e GPUs dessa VM.
Para obter taxas de largura de banda de rede mais altas (50 Gbps ou superiores) aplicadas à maioria das instâncias de GPU, é recomendável usar o Google Virtual NIC (gVNIC). Para obter mais informações sobre como criar instâncias de GPU que usam gVNIC, consulte Criando instâncias de GPU que usam larguras de banda maiores .
| Modelo de GPU | Número de GPUs | Cálculo máximo de largura de banda da rede |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) | |
| 4 | min(vcpu_count * 2, 50) | |
| 8 | min(vcpu_count * 2, 100) | |
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) | |
| 4 | min(vcpu_count * 2, 100) |
Crie máquinas GPU de alta largura de banda
Para criar instâncias de GPU que usam larguras de banda de rede maiores, use um dos seguintes métodos com base no tipo de máquina:
Para criar instâncias A2, G2 e N1 que usam larguras de banda de rede mais altas, consulte Usar largura de banda de rede mais alta para instâncias A2, G2 e N1 . Para testar ou verificar a velocidade da largura de banda dessas máquinas, você pode usar o teste de benchmarking. Para obter mais informações, consulte Verificando a largura de banda da rede .
Para criar instâncias A3 Mega que usam larguras de banda de rede mais altas, consulte Implantar um cluster A3 Mega Slurm para treinamento de ML . Para testar ou verificar a velocidade da largura de banda dessas máquinas, use um teste de benchmarking seguindo as etapas em Verificando a largura de banda da rede .
Para instâncias A3 High e A3 Edge que usam larguras de banda de rede mais altas, consulte Criar uma VM A3 com GPUDirect-TCPX ativado . Para testar ou verificar a velocidade da largura de banda dessas máquinas, você pode usar o teste de benchmarking. Para obter mais informações, consulte Verificando a largura de banda da rede .
Para outros tipos de máquinas otimizadas para aceleradores, nenhuma ação é necessária para usar maior largura de banda de rede; criar uma instância conforme documentado já utiliza alta largura de banda de rede. Para saber como criar instâncias para outros tipos de máquinas otimizadas para aceleradores, consulte Criar uma VM que tenha GPUs anexadas .
O que vem a seguir?
- Saiba mais sobre plataformas GPU .
- Aprenda como criar instâncias com GPUs anexadas .
- Saiba mais sobre Usar largura de banda de rede maior .
- Saiba mais sobre os preços da GPU .