Você pode usar GPUs no Compute Engine para acelerar cargas de trabalho específicas em suas VMs, como aprendizado de máquina (ML) e processamento de dados. Para usar GPUs, você pode implantar uma VM otimizada para acelerador que tenha GPUs anexadas ou anexar GPUs a uma VM de uso geral N1.
O Compute Engine fornece GPUs para suas VMs no modo de passagem para que elas tenham controle direto sobre as GPUs e a memória associada.
Para obter mais informações sobre GPUs no Compute Engine, consulte Sobre GPUs .
Se você tiver cargas de trabalho com uso intensivo de gráficos, como visualização 3D, renderização 3D ou aplicativos virtuais, poderá usar estações de trabalho virtuais NVIDIA RTX (anteriormente conhecidas como NVIDIA GRID).
Este documento fornece uma visão geral das diferentes VMs de GPU disponíveis no Compute Engine.
Para visualizar regiões e zonas disponíveis para GPUs no Compute Engine, consulte Regiões de GPUs e disponibilidade de zonas .
GPUs para cargas de trabalho de computação
Para cargas de trabalho de computação, as GPUs são compatíveis com os seguintes tipos de máquinas:
- VMs A4 : essas VMs têm GPUs NVIDIA B200 anexadas automaticamente.
- VMs A3 : essas VMs têm GPUs NVIDIA H100 de 80 GB ou NVIDIA H200 de 141 GB conectadas automaticamente.
- VMs A2 : essas VMs têm GPUs NVIDIA A100 de 80 GB ou NVIDIA A100 de 40 GB conectadas automaticamente.
- VMs G2 : essas VMs têm GPUs NVIDIA L4 anexadas automaticamente.
- VMs N1 : para essas VMs, você pode anexar os seguintes modelos de GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 ou NVIDIA P4.
Série de máquinas A4
Para usar GPUs NVIDIA B200, você deve usar um tipo de máquina otimizada para acelerador A4 . Cada tipo de máquina A4 tem uma contagem fixa de GPU, contagem de vCPU e tamanho de memória.
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3e) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g | 8 | 1.440 | 224 | 3.968 | 12.000 | 10 | 3.600 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Série de máquinas A3
Para usar GPUs NVIDIA H100 de 80 GB ou NVIDIA H200 de 141 GB, você deve usar um tipo de máquina otimizada para acelerador A3 . Cada tipo de máquina A3 tem uma contagem fixa de GPU, contagem de vCPU e tamanho de memória.
Tipo de máquina A3 Ultra
Para usar GPUs NVIDIA H200 de 141 GB, você deve usar o tipo de máquina A3 Ultra. Este tipo de máquina possui GPUs H200 de 141 GB ( nvidia-h200-141gb ) e fornece o mais alto desempenho de rede. Eles são ideais para treinamento e serviço de modelos básicos.
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3e) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g | 8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Tipos de máquinas A3 Mega, High e Edge
Para usar NVIDIA H100 80GB você tem as seguintes opções:
- A3 Mega : esses tipos de máquinas possuem GPUs H100 de 80 GB (
nvidia-h100-mega-80gb) e são ideais para treinamento em larga escala e atendimento de cargas de trabalho. - A3 High : esses tipos de máquinas possuem GPUs H100 de 80 GB (
nvidia-h100-80gb) e são adequados para tarefas de treinamento e serviço. - A3 Edge : esses tipos de máquinas possuem GPUs H100 de 80 GB (
nvidia-h100-80gb), são projetadas especificamente para servir e estão disponíveis em um conjunto limitado de regiões .
A3Mega
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
A3 alto
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g | 1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g | 2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g | 4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
Borda A3
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Contagem física de NICs | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g | 8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
* A memória GPU é a memória de um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Uma vCPU é implementada como um hiperthread de hardware único em uma das plataformas de CPU disponíveis.
‡ A largura de banda máxima de saída não pode exceder o número fornecido. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda da rede .
Série de máquinas A2
Para usar GPUs NVIDIA A100 emGoogle Cloud, você deverá usar um tipo de máquina otimizada para acelerador A2 . Cada tipo de máquina A2 tem uma contagem fixa de GPU, contagem de vCPU e tamanho de memória.
A série de máquinas A2 está disponível em dois tipos:
- A2 Ultra : esses tipos de máquinas possuem GPUs A100 de 80 GB (
nvidia-a100-80gb) e discos SSD locais conectados. - Padrão A2 : esses tipos de máquinas possuem GPUs A100 de 40 GB (
nvidia-tesla-a100) conectadas.
A2 ultra
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g | 1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g | 2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g | 4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g | 8 | 640 | 96 | 1.360 | 3.000 | 100 |
Padrão A2
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB HBM3) | Contagem de vCPUs † | Memória VM (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g | 1 | 40 | 12 | 85 | Sim | 24 |
a2-highgpu-2g | 2 | 80 | 24 | 170 | Sim | 32 |
a2-highgpu-4g | 4 | 160 | 48 | 340 | Sim | 50 |
a2-highgpu-8g | 8 | 320 | 96 | 680 | Sim | 100 |
a2-megagpu-16g | 16 | 640 | 96 | 1.360 | Sim | 100 |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
Série de máquinas G2
Para usar GPUs NVIDIA L4 ( nvidia-l4 ou nvidia-l4-vws ), você deve usar um tipo de máquina otimizada para acelerador G2 .
Cada tipo de máquina G2 possui um número fixo de GPUs NVIDIA L4 e vCPUs conectadas. Cada tipo de máquina G2 também possui uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que você pode alocar para sua VM para cada tipo de máquina. Você pode especificar sua memória personalizada durante a criação da VM.
| Tipo de máquina | Contagem de GPU | Memória GPU * (GB GDDR6) | Contagem de vCPUs † | Memória VM padrão (GB) | Intervalo de memória VM personalizado (GB) | Máximo SSD local suportado (GiB) | Largura de banda máxima da rede (Gbps) ‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 | 1 | 24 | 4 | 16 | 16 a 32 | 375 | 10 |
g2-standard-8 | 1 | 24 | 8 | 32 | 32 a 54 | 375 | 16 |
g2-standard-12 | 1 | 24 | 12 | 48 | 48 a 54 | 375 | 16 |
g2-standard-16 | 1 | 24 | 16 | 64 | 54 a 64 | 375 | 32 |
g2-standard-24 | 2 | 48 | 24 | 96 | 96 a 108 | 750 | 32 |
g2-standard-32 | 1 | 24 | 32 | 128 | 96 a 128 | 375 | 32 |
g2-standard-48 | 4 | 96 | 48 | 192 | 192 a 216 | 1.500 | 50 |
g2-standard-96 | 8 | 192 | 96 | 384 | 384 a 432 | 3.000 | 100 |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
Série de máquinas N1
Você pode anexar os seguintes modelos de GPU a um tipo de máquina N1, com exceção do tipo de máquina de núcleo compartilhado N1.
As VMs N1 com números mais baixos de GPUs estão limitadas a um número máximo de vCPUs. Em geral, um número maior de GPUs permite criar instâncias de VM com um número maior de vCPUs e memória.
GPU N1+T4
Você pode anexar GPUs NVIDIA T4 a VMs de uso geral N1 com as seguintes configurações de VM.
| Tipo de acelerador | Contagem de GPU | Memória GPU * (GB GDDR6) | contagem de vCPUs | Memória VM (GB) | SSD local suportado |
|---|---|---|---|---|---|
nvidia-tesla-t4 ounvidia-tesla-t4-vws | 1 | 16 | 1 a 48 | 1 a 312 | Sim |
| 2 | 32 | 1 a 48 | 1 a 312 | Sim | |
| 4 | 64 | 1 a 96 | 1 a 624 | Sim |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
GPU N1+P4
Você pode anexar GPUs NVIDIA P4 a VMs de uso geral N1 com as seguintes configurações de VM.
| Tipo de acelerador | Contagem de GPU | Memória GPU * (GB GDDR5) | contagem de vCPUs | Memória VM (GB) | SSD local compatível † |
|---|---|---|---|---|---|
nvidia-tesla-p4 ounvidia-tesla-p4-vws | 1 | 8 | 1 a 24 | 1 a 156 | Sim |
| 2 | 16 | 1 a 48 | 1 a 312 | Sim | |
| 4 | 32 | 1 a 96 | 1 a 624 | Sim |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Para VMs com GPUs NVIDIA P4 anexadas, os discos SSD locais são suportados apenas nas zonas us-central1-c e northamerica-northeast1-b .
GPU N1+V100
Você pode anexar GPUs NVIDIA V100 a VMs de uso geral N1 com as seguintes configurações de VM.
| Tipo de acelerador | Contagem de GPU | Memória GPU * (GB HBM2) | contagem de vCPUs | Memória VM (GB) | SSD local compatível † |
|---|---|---|---|---|---|
nvidia-tesla-v100 | 1 | 16 | 1 a 12 | 1 a 78 | Sim |
| 2 | 32 | 1 a 24 | 1 a 156 | Sim | |
| 4 | 64 | 1 a 48 | 1 a 312 | Sim | |
| 8 | 128 | 1 a 96 | 1 a 624 | Sim |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
† Para VMs com GPUs NVIDIA V100 anexadas, os discos SSD locais não são suportados em us-east1-c .
GPU N1+P100
Você pode anexar GPUs NVIDIA P100 a VMs de uso geral N1 com as seguintes configurações de VM.
Para algumas GPUs NVIDIA P100, o máximo de CPU e memória disponível para algumas configurações depende da zona em que o recurso da GPU está sendo executado.
| Tipo de acelerador | Contagem de GPU | Memória GPU * (GB HBM2) | contagem de vCPUs | Memória VM (GB) | SSD local suportado |
|---|---|---|---|---|---|
nvidia-tesla-p100 ounvidia-tesla-p100-vws | 1 | 16 | 1 a 16 | 1 a 104 | Sim |
| 2 | 32 | 1 a 32 | 1 a 208 | Sim | |
| 4 | 64 | 1 a 64 1 a 96 | 1 a 208 1 a 624 | Sim |
* Memória GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ele é separado da memória da VM e foi projetado especificamente para lidar com as maiores demandas de largura de banda de suas cargas de trabalho com uso intensivo de gráficos.
Estações de trabalho virtuais NVIDIA RTX (vWS) para cargas de trabalho gráficas
Se você tiver cargas de trabalho com uso intensivo de gráficos, como visualização 3D, poderá criar estações de trabalho virtuais que usam estações de trabalho virtuais NVIDIA RTX (vWS) (anteriormente conhecidas como NVIDIA GRID). Quando você cria uma estação de trabalho virtual, uma licença de estação de trabalho virtual NVIDIA RTX (vWS) é automaticamente adicionada à sua VM.
Para obter informações sobre preços para estações de trabalho virtuais, consulte a página de preços de GPU .
Para cargas de trabalho gráficas, os modelos de estação de trabalho virtual (vWS) NVIDIA RTX estão disponíveis:
Série de máquinas G2: para tipos de máquinas G2 você pode ativar estações de trabalho virtuais NVIDIA L4 (vWS):
nvidia-l4-vwsSérie de máquinas N1: para tipos de máquinas N1 , você pode ativar as seguintes estações de trabalho virtuais:
- Estações de trabalho virtuais NVIDIA T4:
nvidia-tesla-t4-vws - Estações de trabalho virtuais NVIDIA P100:
nvidia-tesla-p100-vws - Estações de trabalho virtuais NVIDIA P4:
nvidia-tesla-p4-vws
- Estações de trabalho virtuais NVIDIA T4:
Gráfico de comparação geral
A tabela a seguir descreve o tamanho da memória da GPU, a disponibilidade de recursos e os tipos de carga de trabalho ideais dos diferentes modelos de GPU disponíveis no Compute Engine.
| Modelo de GPU | Memória GPU | Interconectar | Suporte para estação de trabalho virtual NVIDIA RTX (vWS) | Melhor usado para |
|---|---|---|---|---|
| B200 | 180 GB HBM3e a 8 TBps | Malha completa NVLink a 1.800 GBps | Treinamento distribuído em larga escala e inferência de LLMs, Recomendadores, HPC | |
| H200 141GB | 141 GB HBM3e a 4,8 TBps | Malha completa NVLink a 900 GBps | Modelos grandes com tabelas de dados massivas para treinamento de ML, inferência, HPC, BERT, DLRM | |
| H100 80GB | 80 GB HBM3 a 3,35 TBps | Malha completa NVLink a 900 GBps | Modelos grandes com tabelas de dados massivas para treinamento de ML, inferência, HPC, BERT, DLRM | |
| A100 80 GB | 80 GB HBM2e a 1,9 TBps | Malha completa NVLink a 600 GBps | Modelos grandes com tabelas de dados massivas para treinamento de ML, inferência, HPC, BERT, DLRM | |
| A100 40 GB | 40 GB HBM2 a 1,6 TBps | Malha completa NVLink a 600 GBps | Treinamento de ML, inferência, HPC | |
| L4 | 24 GB GDDR6 a 300 GBps | N / D | Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeo, HPC | |
| T4 | 16 GB GDDR6 a 320 GBps | N / D | Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeo | |
| V100 | 16 GB HBM2 a 900 GBps | Anel NVLink a 300 GBps | Treinamento de ML, inferência, HPC | |
| P4 | 8 GB GDDR5 a 192 GBps | N / D | Estações de trabalho de visualização remota, inferência de ML e transcodificação de vídeo | |
| P100 | 16 GB HBM2 a 732 GBps | N / D | Treinamento de ML, inferência, HPC, estações de trabalho de visualização remota |
Para comparar os preços de GPU para os diferentes modelos e regiões de GPU disponíveis no Compute Engine, consulte Preços de GPU .
Gráfico de comparação de desempenho
A tabela a seguir descreve as especificações de desempenho de diferentes modelos de GPU disponíveis no Compute Engine.
Desempenho de computação
| Modelo de GPU | FP64 | FP32 | FP16 | INT8 |
|---|---|---|---|---|
| B200 | 40 TFLOPS | 80 TFLOPS | ||
| H200 141GB | 34 TFLOPS | 67 TFLOPS | ||
| H100 80GB | 34 TFLOPS | 67 TFLOPS | ||
| A100 80GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| A100 40GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| L4 | 0,5 TFLOPS * | 30,3 TFLOPS | ||
| T4 | 0,25 TFLOPS * | 8.1TFLOPS | ||
| V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
| P4 | 0,2 TFLOPS * | 5,5 TFLOPS | 22 TOPOS † | |
| P100 | 4.7TFLOPS | 9.3TFLOPS | 18,7 TFLOPS |
* Para permitir que o código FP64 funcione corretamente, um pequeno número de unidades de hardware FP64 está incluído na arquitetura de GPU T4, L4 e P4.
† TeraOperações por segundo.
Desempenho do núcleo do tensor
| Modelo de GPU | FP64 | TF32 | FP16/FP32 de precisão mista | INT8 | INT4 | 8º PQ |
|---|---|---|---|---|---|---|
| B200 | 40 TFLOPS | 2.200 TFLOPS † | 4.500 TFLOPS *, † | 9.000 TFLOPS † | 9.000 TFLOPS † | |
| H200 141GB | 67 TFLOPS | 989 TFLOPS † | 1.979 TFLOPS *, † | 3.958 TOPOS † | 3.958 TFLOPS † | |
| H100 80GB | 67 TFLOPS | 989 TFLOPS † | 1.979 TFLOPS *, † | 3.958 TOPOS † | 3.958 TFLOPS † | |
| A100 80 GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS * | 624 TOPOS | 1248 TOPOS | |
| A100 40 GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS * | 624 TOPOS | 1248 TOPOS | |
| L4 | 120 TFLOPS † | 242 TFLOPS *, † | 485 TOPOS † | 485 TFLOPS † | T4 | 65 TFLOPS | 130 TOPOS | 260 TOPOS |
| V100 | 125 TFLOPS | |||||
| P4 | ||||||
| P100 |
* Para treinamento de precisão mista, as GPUs NVIDIA B200, H200, H100, A100 e L4 também suportam o tipo de dados bfloat16 .
† Para GPUs NVIDIA B200, H200, H100 e L4, há suporte para dispersão estrutural que você pode usar para dobrar o valor de desempenho. Os valores mostrados são com dispersão. As especificações são metade mais baixas sem dispersão.
O que vem a seguir?
- Para obter mais informações sobre GPUs no Compute Engine, consulte Sobre GPUs .
- Revise a disponibilidade de regiões e zonas de GPU .
- Revise larguras de banda de rede e GPUs .
- Saiba mais sobre os preços da GPU .