Para acelerar cargas de trabalho específicas no Compute Engine, você pode implantar uma VM otimizada para acelerador que tenha GPUs anexadas ou anexar GPUs a uma VM N1 de uso geral.
Este documento descreve os recursos e as limitações das GPUs em execução no Compute Engine.
GPUs e séries de máquinas
As GPUs são suportadas para a série de máquinas de uso geral N1 e para as séries de máquinas otimizadas para acelerador (A4, A3, A2 e G2). Para VMs que usam tipos de máquina N1, anexe a GPU à VM durante ou após a criação da VM. Para VMs que usam tipos de máquina otimizados para acelerador, as GPUs são anexadas automaticamente quando você cria a VM. As GPUs não podem ser usadas com outras séries de máquinas.
Série de máquinas otimizadas para acelerador
Cada tipo de máquina otimizada para acelerador possui um modelo específico de GPUs NVIDIA conectado.
- Para tipos de máquinas otimizadas para acelerador A4 , GPUs NVIDIA B200 são anexadas.
- Para tipos de máquinas otimizadas para acelerador A3 , GPUs NVIDIA H100 de 80 GB ou NVIDIA H200 de 141 GB estão conectadas. Eles estão disponíveis nas seguintes opções:
- A3 Ultra : esses tipos de máquinas possuem GPUs H200 de 141 GB conectadas
- A3 Mega : esses tipos de máquinas possuem GPUs H100 de 80 GB conectadas
- A3 High : esses tipos de máquinas possuem GPUs H100 de 80 GB conectadas
- A3 Edge : esses tipos de máquinas possuem GPUs H100 de 80 GB conectadas
- Para tipos de máquinas otimizadas para acelerador A2 , GPUs NVIDIA A100 são anexadas. Eles estão disponíveis nas seguintes opções:
- A2 Ultra : esses tipos de máquinas possuem GPUs A100 de 80 GB conectadas
- Padrão A2 : esses tipos de máquinas possuem GPUs A100 de 40 GB conectadas
- Para tipos de máquinas otimizadas para acelerador G2 , GPUs NVIDIA L4 são anexadas.
Para obter mais informações, consulte Série de máquinas otimizadas para acelerador .
Série de máquinas de uso geral N1
Para todos os outros tipos de GPU, você pode usar a maioria dos tipos de máquinas N1, exceto o núcleo compartilhado N1 ( f1-micro e g1-small ).
Para esta série de máquinas, você pode usar tipos de máquinas predefinidos ou personalizados .
GPUs em VMs Spot
Você pode adicionar GPUs às suas VMs Spot a preços spot mais baixos para as GPUs. As GPUs anexadas às VMs Spot funcionam como GPUs normais, mas persistem apenas durante a vida útil da VM. As VMs do Spot com GPUs seguem o mesmo processo de preempção que todas as VMs do Spot.
Considere solicitar uma cota Preemptible GPU dedicada para uso em GPUs em VMs Spot. Para obter mais informações, consulte Cotas para VMs Spot .
Durante eventos de manutenção, as VMs do Spot com GPUs são interrompidas por padrão e não podem ser reiniciadas automaticamente. Se você quiser recriar suas VMs após elas terem sido interrompidas, use um grupo de instâncias gerenciadas . Os grupos de instâncias gerenciadas recriam suas instâncias de VM se os recursos de vCPU, memória e GPU estiverem disponíveis.
Se você quiser um aviso antes que suas VMs sejam interrompidas ou quiser configurar suas VMs para reiniciarem automaticamente após um evento de manutenção, use VMs padrão com uma GPU. Para VMs padrão com GPUs, o Compute Engine fornece um aviso com uma hora de antecedência antes da preempção.
O Compute Engine não cobra pelas GPUs se as VMs forem interrompidas no primeiro minuto após começarem a ser executadas.
Para saber como criar VMs Spot com GPUs anexadas, leia Criar uma VM com GPUs anexadas e Criando VMs Spot . Por exemplo, consulte Criar uma instância A3 Ultra ou A4 usando VMs Spot .
GPUs em VMs com tempos de execução predefinidos
Os recursos para VMs que usam o modelo de provisionamento padrão padrão (VMs padrão) normalmente não podem usar cotas de alocação preemptivas, que são destinadas a cargas de trabalho temporárias e geralmente mais disponíveis. Se o seu projeto não tiver cota preemptiva e você nunca tiver solicitado cota preemptiva, todas as VMs desse projeto consumirão cotas de alocação padrão.
No entanto, depois de solicitar a cota de alocação preemptiva, as VMs padrão que atendem a todos os critérios a seguir poderão consumir apenas a cota de alocação preemptiva.
- A VM anexou GPUs. Pode ser uma VM N1 com GPUs anexadas ou uma VM otimizada para acelerador .
- A VM está configurada para ser excluída automaticamente após um tempo de execução predefinido de sete dias ou menos por meio de um dos seguintes métodos:
- Usando o campo
maxRunDurationou o campoterminationTime. Para obter mais informações, consulte Limitar o tempo de execução de uma VM ou Limitar o tempo de execução de VMs em um MIG . - Usando o campo
requestedRunDuration, que está disponível apenas para grupos de instâncias gerenciadas (MIGs). Para obter mais informações, consulte Sobre solicitações de redimensionamento em um MIG .
- Usando o campo
- A VM não tem permissão para consumir reservas. Para obter mais informações, consulte Impedir que instâncias de computação consumam reservas .
Ao consumir a cota de alocação preemptiva para essas cargas de trabalho, você obtém os benefícios do tempo de execução ininterrupto das VMs padrão e melhor capacidade de obtenção da cota de alocação preemptiva.
Independentemente da cota usada, as VMs padrão não se qualificam para os preços das VMs spot e não estão sujeitas a preempção.
Para obter mais informações, consulte Cotas preemptivas .
GPUs e VM confidencial
Não é possível anexar GPUs a instâncias de VM confidenciais. Para obter mais informações sobre a VM confidencial, consulte Visão geral da VM confidencial .
GPUs e armazenamento em bloco
Ao criar uma VM em uma plataforma GPU, você pode adicionar armazenamento em bloco persistente ou temporário à VM. Para armazenar dados não transitórios, use armazenamento em bloco persistente como Hyperdisk ML ou Persistent Disk porque os discos são independentes do ciclo de vida da VM. Os dados no armazenamento persistente podem ser retidos mesmo após a exclusão da VM.
Para armazenamento temporário ou caches, use o armazenamento temporário em blocos adicionando discos SSD locais ao criar a VM.
Armazenamento em bloco persistente com volumes de disco permanente e hiperdisco
Você pode anexar volumes de Persistent Disk e Hyperdisk ML com VMs habilitadas para GPU.
Para treinamento de aprendizado de máquina e atendimento de cargas de trabalho, o Google recomenda o uso de volumes Hyperdisk ML, que oferecem alto rendimento e tempos de carregamento de dados mais curtos. Isso torna o Hyperdisk ML uma opção mais econômica para cargas de trabalho de ML porque oferece tempos de inatividade de GPU mais baixos.
Os volumes Hyperdisk ML fornecem suporte multi-anexação somente leitura, para que você possa anexar o mesmo disco a várias VMs, dando a cada VM acesso aos mesmos dados.
Para obter mais informações sobre os tipos de disco suportados para séries de máquinas que suportam GPUs, consulte as páginas de séries de máquinas otimizadas para N1 e acelerador .
Discos SSD locais
Os discos SSD locais fornecem armazenamento rápido e temporário para armazenamento em cache, processamento de dados ou outros dados transitórios. Os discos SSD locais são de armazenamento rápido porque estão fisicamente conectados ao servidor que hospeda sua VM. Eles são temporários porque os dados serão perdidos se a VM for reiniciada.
Você não deve armazenar dados com fortes requisitos de persistência em discos SSD locais. Para armazenar dados não transitórios, use armazenamento persistente .
Se você interromper manualmente uma VM com GPU, poderá preservar os dados do SSD local, com certas restrições. Consulte a documentação do SSD local para obter mais detalhes.
Para obter suporte regional para SSD local com tipos de GPU, consulte Disponibilidade de SSD local por regiões e zonas de GPU .
GPUs e manutenção de host
As VMs com GPUs anexadas são sempre interrompidas quando o Compute Engine realiza eventos de manutenção nas VMs. Se a VM tiver anexado discos SSD locais, os dados do SSD local serão perdidos após a parada da VM.
Para obter informações sobre como lidar com eventos de manutenção, consulte Tratamento de eventos de manutenção de host GPU .
Preços de GPU
A maioria das VMs com uma GPU anexada recebe descontos por uso sustentado semelhantes aos das vCPUs. Quando você seleciona uma GPU para uma estação de trabalho virtual, uma licença de estação de trabalho virtual NVIDIA RTX é adicionada à sua VM.
Para obter preços por hora e mensal para GPUs, consulte a página de preços de GPU .
Reserva de GPUs com descontos por uso contínuo
Para reservar recursos de GPU em uma zona específica, consulte Reservas de recursos zonais do Compute Engine .
Para receber descontos por uso contínuo para GPUs em uma zona específica, você deve adquirir compromissos baseados em recursos para as GPUs e também anexar reservas que especifiquem GPUs correspondentes aos seus compromissos. Para obter mais informações, consulte Anexar reservas a compromissos baseados em recursos .
Restrições e limitações de GPU
Para VMs com GPUs anexadas, aplicam-se as seguintes restrições e limitações:
As GPUs são suportadas apenas com tipos de máquinas de uso geral N1 ou otimizadas para acelerador (A4, A3, A2 e G2).
Para proteger os sistemas e usuários do Compute Engine, novos projetos têm uma cota global de GPU, o que limita o número total de GPUs que você pode criar em qualquer zona compatível. Ao solicitar uma cota de GPU, você deverá solicitar uma cota para os modelos de GPU que deseja criar em cada região e uma cota global adicional para o número total de GPUs de todos os tipos em todas as zonas.
VMs com uma ou mais GPUs têm um número máximo de vCPUs para cada GPU adicionada à VM. Para ver os intervalos de vCPU e memória disponíveis para diferentes configurações de GPU, consulte a lista de GPUs .
As GPUs requerem drivers de dispositivo para funcionar corretamente. As GPUs NVIDIA executadas no Compute Engine precisam usar uma versão mínima do driver. Para obter mais informações sobre versões de driver, consulte Versões necessárias do driver NVIDIA .
As VMs com um modelo de GPU anexado específico serão cobertas pelo SLA do Compute Engine somente se esse modelo de GPU anexado estiver disponível e tiver suporte em mais de uma zona na mesma região. Para obter mais informações, consulte Regiões e zonas de GPU .
O Compute Engine suporta a execução de um usuário simultâneo por GPU.
Veja também as limitações de cada tipo de máquina com GPUs anexadas .
O que vem a seguir?
- Aprenda como criar VMs com GPUs anexadas .
- Aprenda como adicionar ou remover GPUs .