Esta página foi traduzida pela API Cloud Translation.

Suporte a GPUs para serviços
Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Esta página descreve a configuração de GPU para seu serviço do Cloud Run. As GPUs funcionam bem para cargas de trabalho de inferência de IA, como modelos de linguagem grandes (LLMs) ou outros casos de uso não relacionados à IA que exigem computação intensiva, como transcodificação de vídeo e renderização 3D. O Google fornece GPUs NVIDIA L4 com 24 GB de memória de GPU (VRAM), que é separada da memória da instância.

Para usar o recurso de GPU, solicite uma cota. Para mais detalhes, consulte Solicitar um aumento de cota.

A GPU no Cloud Run é totalmente gerenciada, sem drivers ou bibliotecas extras necessários. O recurso GPU oferece disponibilidade sob demanda sem necessidade de reservas, semelhante à maneira como CPU e memória sob demanda funcionam no Cloud Run. Instâncias de um serviço do Cloud Run que foram configuradas para usar GPU podem ser reduzidas a zero para economia de custos quando não estiverem em uso.

Instâncias do Cloud Run com uma GPU L4 anexada e drivers pré-instalados são iniciados em aproximadamente cinco segundos. Nesse momento, os processos em execução no seu contêiner podem começar a usar a GPU.

É possível configurar uma GPU por instância do Cloud Run. Se você usar contêineres secundários a GPU só pode ser conectada a um único contêiner.

Regiões aceitas

us-central1 (Iowa) Baixo CO₂
asia-southeast1 (Singapura)
europe-west1 (Bélgica) Baixo CO₂
europe-west4 (Países Baixos) Baixo CO₂
science asia-south1 (Mumbai)
- Observação:essa região está disponível apenas por convite. Entre em contato com sua Equipe de Contas do Google se tiver interesse nessa região

Tipos de GPU compatíveis

É possível usar uma GPU L4 por instância do Cloud Run. Uma GPU L4 tem os seguintes drivers pré-instalados:

A versão atual do driver NVIDIA: 535.216.03 (CUDA 12.2)

Impacto no preço

Consulte os detalhes de preços de GPU em Preços do Cloud Run. Observe os requisitos e considerações a seguir:

Não há taxas por solicitação. É necessário usar o faturamento baseado em instâncias para usar o recurso de GPU. As instâncias mínimas são cobradas pela taxa total, mesmo quando inativas.
É necessário usar pelo menos quatro CPUs e 16 GiB de memória.
A GPU é cobrada de acordo com a duração total do ciclo de vida da instância.
Há uma diferença no custo entre a redundância zonal de GPU e a não zonal. Consulte os detalhes de preços de GPU em Preços do Cloud Run.

SLA

O SLA para GPU do Cloud Run depende se o serviço usa a opção de redundância zonal ou não zonal. Consulte a página do SLA para mais detalhes.

Opções de redundância zonal de GPU

Por padrão, o Cloud Run implanta seu serviço em várias zonas de uma região. Essa arquitetura oferece resiliência inerente: se uma zona tiver uma falha temporária, o Cloud Run vai rotear automaticamente o tráfego para fora da zona afetada e para zonas íntegras na mesma região.

Ao trabalhar com recursos de GPU, lembre-se de que eles têm restrições de capacidade específicas. Durante uma falha de zona, o mecanismo de failover padrão para cargas de trabalho de GPU depende de capacidade de GPU não utilizada suficiente disponível nas demais zonas íntegras. Devido à natureza limitada das GPUs, essa capacidade nem sempre está disponível.

Para aumentar a disponibilidade dos serviços acelerados por GPU durante interrupções de zona, configure a redundância de zona especificamente para GPUs:

Redundância zonal ativada (padrão): o Cloud Run reserva a capacidade de GPU para seu serviço em várias zonas. Isso aumenta significativamente a probabilidade de que seu serviço consiga processar o tráfego redirecionado de uma zona afetada, oferecendo maior confiabilidade durante falhas de zona com custo adicional por segundo de GPU.
Redundância zonal desativada: o Cloud Run tenta fazer failover para cargas de trabalho de GPU com base no melhor esforço. O tráfego é roteado para outras zonas somente se tiver capacidade de GPU suficiente disponível no momento. Essa opção não garante a capacidade reservada para cenários de failover, mas resulta em um custo menor por segundo de GPU.

Solicitar aumento de cota

Para acessar as GPUs do Cloud Run, solicite um aumento de cota para seu serviço do Cloud Run. Use os links fornecidos nos botões abaixo para solicitar a cota necessária.

cota necessária	Link da cota
GPU com redundância zonal desativada (preço mais baixo)	Solicitar cota de GPU sem redundância zonal
GPU com redundância zonal ativada (preço mais alto)	Solicitar cota de GPU com redundância zonal

Para mais informações sobre como solicitar aumentos de cota, consulte Como aumentar a cota.

Antes de começar

A lista a seguir descreve os requisitos e as limitações ao usar GPUs no Cloud Run:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Cloud Run API.
Enable the API

Solicitar a cota necessária.
Consulte as práticas recomendadas: inferência de IA no Cloud Run com GPUs para conferir recomendações sobre como criar a imagem do contêiner e carregar modelos grandes.
Verifique se o serviço do Cloud Run tem as seguintes configurações:

Configure as configurações de faturamento para faturamento baseado em instância. Os serviços configurados para faturamento baseado em instância ainda podem ser reduzidos a zero.
Configure no mínimo 4 CPUs para o serviço, sendo recomendado 8 CPUs.
Configure um mínimo de 16 GiB de memória, sendo recomendado 32 GiB.
Determine e defina uma concorrência máxima ideal para o uso da GPU.
O número máximo de instâncias precisa ser definido como um número abaixo da cota permitida por projeto e por região para GPU. Consulte Sobre GPUs e o número máximo de instâncias.

Funções exigidas

Para receber as permissões necessárias para configurar e implantar os serviços do Cloud Run, peça ao administrador para conceder a você os seguintes papéis do IAM:

Desenvolvedor do Cloud Run (roles/run.developer) no serviço Cloud Run
Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o serviço do Cloud Run interagir com APIsGoogle Cloud , como as bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Configurar um serviço do Cloud Run com GPU

Qualquer mudança na configuração leva à criação de uma nova revisão. As próximas revisões também recebem automaticamente essa configuração, a menos que você faça atualizações explícitas para alterá-la.

É possível usar o console do Google Cloud, a CLI do Google Cloud ou o YAML para configurar a GPU.

Console

No Google Cloud console, acesse o Cloud Run:

Acessar o Cloud Run
Clique em Implantar contêiner e selecione Serviço para configurar um novo serviço. Se você estiver configurando um serviço atual, clique nele e em Editar e implantar nova revisão.
Ao configurar um novo serviço, preencha a página inicial de configurações de serviço conforme preferir e clique em Contêineres, volumes, redes e segurança para expandir essa página.
Clique na guia Contêiner.
- Configurar CPU, memória, simultaneidade, ambiente de execução e a sondagem de inicialização, seguindo as recomendações em Antes de começar.
- Marque a caixa de seleção da GPU e selecione o tipo de GPU no menu Tipo de GPU e o número de GPUs no menu Número de GPUs.
- Por padrão, a redundância zonal fica ativada para novos serviços. Para mudar a configuração atual, selecione a caixa de seleção da GPU para mostrar as opções de redundância de GPU.
  - Selecione Nenhuma redundância na zona para desativar a redundância na zona.
  - Selecione Redundância zonal para ativar a redundância zonal.
Clique em Criar ou Implantar.

gcloud

Para criar um serviço com a GPU ativada, use o comando gcloud beta run deploy:

  gcloud beta run deploy SERVICE \
    --image IMAGE_URL \
    --gpu 1

Substitua:

SERVICE pelo nome do serviço do Cloud Run;
IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG

Para atualizar a configuração de GPU de um serviço, use o comando gcloud beta run services update:

  gcloud beta run services update SERVICE \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --no-cpu-throttling \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --max-instances MAX_INSTANCE
    --GPU_ZONAL_REDUNDANCY

Substitua:

SERVICE pelo nome do serviço do Cloud Run;
IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
CPU pelo número de CPUs. É necessário especificar pelo menos 4 CPU.
MEMORY pela quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
GPU_NUMBER com o valor 1 (um). Se isso não for especificado, mas um GPU_TYPE estiver presente, o padrão será 1.
GPU_TYPE com o tipo de GPU. Se isso não for especificado, mas um GPU_NUMBER estiver presente, o padrão será nvidia-l4 (nvidia L4 L minúsculo, não o valor numérico 14).
MAX_INSTANCE pelo número máximo de instâncias. Esse número não pode exceder a cota de GPU alocada para o projeto.
GPU_ZONAL_REDUNDANCY com no-gpu-zonal-redundancy para desativar a redundância zonal ou gpu-zonal-redundancy para ativar.

YAML

Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:
```
gcloud run services describe SERVICE --format export > service.yaml
```

Atualize o atributo nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator::

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: SERVICE
  annotations:
    run.googleapis.com/launch-stage: BETA
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/maxScale: 'MAX_INSTANCE'
        run.googleapis.com/cpu-throttling: 'false'
        run.googleapis.com/gpu-zonal-redundancy-disabled: GPU_ZONAL_REDUNDANCY
    spec:
      containers:
      - image: IMAGE_URL
        ports:
        - containerPort: CONTAINER_PORT
          name: http1
        resources:
          limits:
            cpu: 'CPU'
            memory: 'MEMORY'
            nvidia.com/gpu: '1'
        # Optional: use a longer startup probe to allow long starting containers
        startupProbe:
          failureThreshold: 1800
          periodSeconds: 1
          tcpSocket:
            port: CONTAINER_PORT
          timeoutSeconds: 1
      nodeSelector:
        run.googleapis.com/accelerator: GPU_TYPE

Substitua:

SERVICE pelo nome do serviço do Cloud Run;
IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
Substitua CONTAINER_PORT pela porta do contêiner definida para o serviço.
CPU pelo número de CPUs. É necessário especificar pelo menos 4 CPU.
MEMORY pela quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
GPU_TYPE com o valor nvidia-l4 (nvidia-L4 L minúsculo, não o valor numérico 14).
MAX_INSTANCE pelo número máximo de instâncias. Esse número não pode exceder a cota de GPU alocada para o projeto.
GPU_ZONAL_REDUNDANCY com false para ativar a redundância zonal de GPU ou true para desativar.

Crie ou atualize o serviço usando o seguinte comando:
```
gcloud run services replace service.yaml
```

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

Adicione o seguinte a um recurso google_cloud_run_v2_service na configuração do Terraform.

resource "google_cloud_run_v2_service" "default" {
  provider = google-beta
  name     = "SERVICE"
  location = "us-central1"

  template {
    gpu_zonal_redundancy_disabled = GPU_ZONAL_REDUNDANCY
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Substitua:

SERVICE pelo nome do serviço do Cloud Run;
GPU_ZONAL_REDUNDANCY com false para ativar a redundância zonal de GPU ou true para desativar.
IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
CPU pelo número de CPUs. É necessário especificar pelo menos 4 CPU.
MEMORY pela quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
GPU_TYPE com o valor nvidia-l4 (nvidia-L4 L minúsculo, não o valor numérico 14).

Conferir as configurações da GPU

Para ver as configurações atuais da CPU do serviço do Cloud Run, faça o seguinte:

Console

No Google Cloud console, acesse o Cloud Run:

Acessar o Cloud Run
Clique no serviço de seu interesse para abrir a página Detalhes do serviço.
Clique na guia Revisões.
No painel de detalhes à direita, a configuração da CPU está listada na guia Contêiner.

gcloud

Use o comando a seguir:
```
gcloud run services describe SERVICE
```
Localize a configuração da GPU na configuração retornada.

Como remover a GPU

É possível remover a GPU usando o console do Google Cloud, a CLI do Google Cloud ou o YAML.

Console

No Google Cloud console, acesse o Cloud Run:

Acessar o Cloud Run
Clique em Implantar contêiner e selecione Serviço para configurar um novo serviço. Se você estiver configurando um serviço atual, clique nele e em Editar e implantar nova revisão.
Ao configurar um novo serviço, preencha a página inicial de configurações de serviço conforme preferir e clique em Contêineres, volumes, redes e segurança para expandir essa página.
Clique na guia Contêiner.
- Desmarque a caixa de seleção da GPU.
Clique em Criar ou Implantar.

gcloud

Para remover a GPU, defina o número de GPUs como 0 usando o comando gcloud beta run services update:

  gcloud beta run services update SERVICE --gpu 0

Substitua SERVICE pelo nome do serviço do Cloud Run.

YAML

Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:
```
gcloud run services describe SERVICE --format export > service.yaml
```
Exclua as linhas nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator: nvidia-l4.
Crie ou atualize o serviço usando o seguinte comando:
```
gcloud run services replace service.yaml
```

Bibliotecas

Por padrão, todas as bibliotecas de drivers da NVIDIA L4 são montadas em /usr/local/nvidia/lib64. O Cloud Run anexa automaticamente esse caminho à variável de ambiente LD_LIBRARY_PATH (ou seja, ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) do contêiner com a GPU. Isso permite que o vinculador dinâmico encontre as bibliotecas de driver da NVIDIA. O vinculador pesquisa e resolve caminhos na ordem que você lista na variável de ambiente LD_LIBRARY_PATH. Todos os valores especificados nessa variável têm precedência sobre o caminho padrão das bibliotecas de driver do Cloud Run /usr/local/nvidia/lib64.

Se você quiser usar uma versão do CUDA maior que 12.2, a maneira mais fácil é depender de uma imagem base NVIDIA mais recente com pacotes de compatibilidade futura já instalados. Outra opção é instalar manualmente os pacotes de compatibilidade futura da NVIDIA e adicioná-los a LD_LIBRARY_PATH. Consulte a matriz de compatibilidade da NVIDIA para determinar quais versões do CUDA são compatíveis com a versão do driver fornecido (535.216.03).

Sobre GPUs e o número máximo de instâncias

O número de instâncias com GPUs é limitado de duas maneiras:

A configuração Máximo de instâncias limita o número de instâncias por serviço. Não pode ser maior do que a cota por projeto e região da GPU.
A cota de GPUs permitida por projeto e região. Isso limita o número de instâncias entre serviços na mesma região.

Suporte a GPUs para serviços Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Regiões aceitas

Tipos de GPU compatíveis

Impacto no preço

SLA

Opções de redundância zonal de GPU

Solicitar aumento de cota

Antes de começar

Funções exigidas

Configurar um serviço do Cloud Run com GPU

Console

gcloud

YAML

Terraform

Conferir as configurações da GPU

Console

gcloud

Como remover a GPU

Console

gcloud

YAML

Bibliotecas

Sobre GPUs e o número máximo de instâncias

Suporte a GPUs para serviços
Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.