Executar uma pequena carga de trabalho em lote com GPUs e o modo de provisionamento flexível

Se a carga de trabalho exigir processamento distribuído em vários nós, use o flex-start com provisionamento em fila. Para mais informações, consulte Executar uma carga de trabalho em grande escala com início flexível e provisionamento em fila.

Este guia é destinado a engenheiros de machine learning (ML), administradores e operadores de plataforma e especialistas em dados e IA interessados em usar os recursos de orquestração de contêineres do Kubernetes para executar cargas de trabalho em lote. Para mais informações sobre papéis comuns e tarefas de exemplo que mencionamos no conteúdo do Google Cloud , consulte Funções e tarefas de usuário comuns do GKE Enterprise.

Preços de início flexível

O início flexível é recomendado se a carga de trabalho exigir recursos provisionados dinamicamente conforme necessário, por até sete dias com reservas de curto prazo, sem gerenciamento complexo de cota e acesso econômico. O início flexível é alimentado pelo Programador dinâmico de cargas de trabalho e é faturado usando os preços do Programador dinâmico de cargas de trabalho:

• Desconto de até 53% para vCPUs, GPUs e TPUs.
• Você paga conforme a utilização.

Antes de começar

Antes de começar, veja se você realizou as seguintes tarefas:

• Ative a API Google Kubernetes Engine.
Ativar a API Google Kubernetes Engine
• Se você quiser usar a CLI do Google Cloud para essa tarefa, instale e, em seguida, inicialize a CLI gcloud. Se você instalou a gcloud CLI anteriormente, instale a versão mais recente executando gcloud components update.

• Verifique se você tem um cluster do Autopilot ou um cluster Standard que esteja executando a versão 1.33.0-gke.1712000 ou mais recente.
• Confira se você conhece as limitações do flex-start.
• Ao usar um cluster padrão, verifique se você mantém pelo menos um pool de nós sem o início flexível ativado para que o cluster funcione corretamente.
• Verifique se você tem cota para GPUs preemptivas nos locais dos nós.

Criar um pool de nós com início flexível

Para criar um pool de nós com o início flexível ativado em um cluster Standard, use a CLI gcloud ou o Terraform.

Se você usar um cluster no modo Autopilot, pule esta seção e acesse a Executar uma carga de trabalho em lote.

```hcl
resource "google_container_node_pool" " "gpu_dws_pool" {
name = "gpu-dws-pool"

queued_provisioning {
    enabled = false
}

}
node_config {
    machine_type = "a3-highgpu-8g"
    flex_start = true
}
```

Executar uma carga de trabalho em lote

1. No Google Cloud console, inicie uma sessão do Cloud Shell clicando em Ativar o Cloud Shell. Uma sessão é aberta no painel inferior do console Google Cloud .

2. Crie um arquivo chamado dws-flex-start.yaml:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: job-1
   spec:
     template:
       spec:
         nodeSelector:
           cloud.google.com/gke-flex-start: "true"
         containers:
         - name: container-1
           image: gcr.io/k8s-staging-perf-tests/sleep:latest
           args: ["10s"] # Sleep for 10 seconds
           resources:
             requests:
                 nvidia.com/gpu: 1
             limits:
                 nvidia.com/gpu: 1
         restartPolicy: OnFailure
   ---
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: job-2
   spec:
     template:
       spec:
         nodeSelector:
           cloud.google.com/gke-flex-start: "true"
         containers:
         - name: container-2
           image: gcr.io/k8s-staging-perf-tests/sleep:latest
           args: ["10s"] # Sleep for 10 seconds
           resources:
             requests:
                 nvidia.com/gpu: 1
             limits:
                 nvidia.com/gpu: 1
         restartPolicy: OnFailure
   

3. Aplique o manifesto dws-flex-start.yaml:

   kubectl apply -f dws-flex-start.yaml
   

4. Verifique se os jobs estão sendo executados no mesmo nó:

   kubectl get pods -l "job-name in (job-1,job-2)" -o wide
   

   O resultado será assim:

   NAME    READY   STATUS      RESTARTS   AGE   IP       NODE               NOMINATED NODE   READINESS GATES
   job-1   0/1     Completed   0          19m   10.(...) gke-flex-zonal-a2  <none>           <none>
   job-2   0/1     Completed   0          19m   10.(...) gke-flex-zonal-a2  <none>           <none>
   

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, exclua o projeto que contém os recursos ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir o recurso individual

1. Exclua os jobs:

   kubectl delete job -l "job-name in (job-1,job-2)"
   

2. Exclua o pool de nós:

   gcloud container node-pools delete NODE_POOL_NAME \
         --location LOCATION_NAME
   

3. Exclua o cluster:

   gcloud container clusters delete CLUSTER_NAME
   

A seguir

• Saiba mais sobre GPUs no GKE.
• Saiba mais sobre o provisionamento automático de nós.
• Saiba mais sobre as práticas recomendadas para executar cargas de trabalho em lote no GKE.