GPU (serviços)

Console

1. No console do Google Cloud, acesse o Cloud Run:

   Acessar o Cloud Run

2. Clique em Implantar contêiner e selecione Serviço para configurar um novo serviço. Se você estiver configurando um serviço atual, clique nele e em Editar e implantar nova revisão.

3. Ao configurar um novo serviço, preencha a página inicial de configurações de serviço conforme preferir e clique em Contêineres, volumes, redes e segurança para expandir essa página.

4. Clique na guia Contêiner.

   

   • Configurar CPU, memória, simultaneidade, ambiente de execução e a sondagem de inicialização, seguindo as recomendações em Antes de começar.
   • Marque a caixa de seleção da GPU e selecione o tipo de GPU no menu Tipo de GPU e o número de GPUs no menu Número de GPUs.

5. Clique em Criar ou Implantar.

gcloud

Para definir ou atualizar a configuração de GPU de um serviço, use o comando gcloud beta run services update:

  gcloud beta run deploy SERVICE \
    --image IMAGE_URL \
    --project PROJECT_ID \
    --region REGION \
    --port PORT \
    --cpu CPU \
    --memory MEMORY \
    --no-cpu-throttling \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --max-instances MAX_INSTANCE

Substitua:

• SERVICE pelo nome do serviço do Cloud Run;
• PROJECT_ID pelo ID do projeto em que você está implantando.
• REGION pela região em que você está implantando. É necessário especificar uma região compatível com a GPU.
• PORT pela porta para enviar solicitações. Observe que a porta padrão é 8080.
• IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
• CPU pelo número de CPUs. É preciso especificar pelo menos 4 CPU.
• MEMORY pela quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
• GPU_NUMBER com o valor 1 (um).
• GPU_TYPE com o tipo de GPU. Use nvidia-l4 (nvidia L4 com L minúscula, não o valor numérico 14).
• MAX_INSTANCE pelo número máximo de instâncias. Esse número não pode exceder a cota de GPU alocada para o projeto.

YAML

1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:

   gcloud run services describe SERVICE --format export > service.yaml

2. Atualize o atributo nvidia.com/gpu: e nodeSelector:
run.googleapis.com/accelerator::

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: SERVICE
     annotations:
       run.googleapis.com/launch-stage: BETA
   spec:
     template:
       metadata:
         annotations:
           autoscaling.knative.dev/maxScale: 'MAX_INSTANCE'
           run.googleapis.com/cpu-throttling: 'false'
       spec:
         containers:
         - image: IMAGE_URL
           ports:
           - containerPort: CONTAINER_PORT
             name: http1
           resources:
             limits:
               cpu: 'CPU'
               memory: 'MEMORY'
               nvidia.com/gpu: 'GPU_NUMBER'
           # Optional: use a longer startup probe to allow long starting containers
           startupProbe:
             failureThreshold: 1800
             periodSeconds: 1
             tcpSocket:
               port: CONTAINER_PORT
             timeoutSeconds: 1
         nodeSelector:
           run.googleapis.com/accelerator: GPU_TYPE

   Substitua:

   • SERVICE pelo nome do serviço do Cloud Run;
   • IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
   • Substitua CONTAINER_PORT pela porta do contêiner definida para o serviço.
   • CPU pelo número de CPUs. É preciso especificar pelo menos 4 CPU.
   • MEMORY pela quantidade de memória. É necessário especificar pelo menos 16Gi (16 GiB).
   • GPU_NUMBER com o valor 1 (um) porque é possível anexar apenas uma GPU por instância do Cloud Run.
   • GPU_TYPE com o valor nvidia-l4 (nvidia-L4 L minúsculo, não o valor numérico 14).
   • MAX_INSTANCE pelo número máximo de instâncias. Esse número não pode exceder a cota de GPU alocada para o projeto.

3. Crie ou atualize o serviço usando o seguinte comando:

   gcloud run services replace service.yaml

Console

1. No console do Google Cloud, acesse o Cloud Run:

   Acesse o Cloud Run

2. Clique no serviço de seu interesse para abrir a página Detalhes do serviço.

3. Clique na guia Revisões.

4. No painel de detalhes à direita, a configuração da CPU está listada na guia Contêiner.

gcloud

1. Use o comando a seguir:

   gcloud run services describe SERVICE

2. Localize a configuração da GPU na configuração retornada.

Console

1. No console do Google Cloud, acesse o Cloud Run:

   Acessar o Cloud Run

2. Clique em Implantar contêiner e selecione Serviço para configurar um novo serviço. Se você estiver configurando um serviço atual, clique nele e em Editar e implantar nova revisão.

3. Ao configurar um novo serviço, preencha a página inicial de configurações de serviço conforme preferir e clique em Contêineres, volumes, redes e segurança para expandir essa página.

4. Clique na guia Contêiner.

   

   • Desmarque a caixa de seleção da GPU.

5. Clique em Criar ou Implantar.

gcloud

Para remover a GPU, defina o número de GPUs como 0 usando o comando gcloud beta run services update:

  gcloud beta run services update SERVICE --gpu 0
  

Substitua SERVICE pelo nome do serviço do Cloud Run.

YAML

1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço existente, faça o download da configuração YAML correspondente:

   gcloud run services describe SERVICE --format export > service.yaml

2. Exclua as linhas nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator: nvidia-l4.

3. Crie ou atualize o serviço usando o seguinte comando:

   gcloud run services replace service.yaml