Usar reservas com treinamento

Neste documento, explicamos como usar as reservas do Compute Engine para garantir que seus jobs de treinamento personalizados tenham os recursos de máquina virtual (VM) necessários para serem executados.

As reservas são um recurso do Compute Engine. Elas ajudam a garantir que você tenha os recursos disponíveis para criar VMs com o mesmo hardware (memória e vCPUs) e recursos opcionais (CPUs, GPUs, TPUs e discos SSD locais) sempre que precisar.

Ao criar uma reserva, o Compute Engine verifica se a capacidade solicitada está disponível na zona especificada. Se sim, o Compute Engine reserva os recursos, cria a reserva e acontece o seguinte:

• Você pode consumir os recursos reservados imediatamente, e eles permanecem disponíveis até que você exclua a reserva.
• Você recebe cobranças pelos recursos reservados com a mesma taxa sob demanda das VMs em execução, incluindo descontos aplicáveis, até que a reserva seja excluída. Uma VM que consome uma reserva não gera cobranças separadas. Você só recebe cobranças pelos recursos fora da reserva, como discos ou endereços IP. Para saber mais, consulte preços das reservas.

Limitações e requisitos

Ao usar reservas do Compute Engine com a Vertex AI, considere as seguintes limitações e requisitos:

• A Vertex AI só pode usar reservas para CPUs (pré-lançamento), VMs com GPU ou TPUs (pré-lançamento).
• A Vertex AI não pode consumir reservas de VMs que têm discos SSD locais anexados manualmente.
• O uso de reservas do Compute Engine com a Vertex AI só é compatível com treinamento e inferência personalizados e com o Vertex AI Workbench (em prévia).
• As propriedades de VM de uma reserva precisam corresponder exatamente à sua carga de trabalho da Vertex AI para consumir a reserva. Por exemplo, se uma reserva especificar um tipo de máquina a2-ultragpu-8g, a carga de trabalho da Vertex AI só poderá consumir a reserva se também usar um tipo de máquina a2-ultragpu-8g. Consulte Requisitos.
• Para consumir uma reserva compartilhada de VMs de GPU ou TPUs, use o projeto proprietário ou um projeto consumidor com que a reserva é compartilhada. Consulte Como funcionam as reservas compartilhadas.
• Para oferecer suporte a atualizações regulares das implantações da Vertex AI, recomendamos aumentar a contagem de VMs em pelo menos uma VM adicional para cada implantação simultânea.

• Os seguintes serviços e recursos não são compatíveis ao usar reservas do Compute Engine com o treinamento da Vertex AI:

  • Início flexível para o Dynamic Workload Scheduler
  • Executar jobs de treinamento em um recurso persistente

Faturamento

Ao usar reservas do Compute Engine, você recebe cobranças pelos seguintes itens:

• Preços do Compute Engine para os recursos do Compute Engine, incluindo descontos por compromisso de uso (CUDs) aplicáveis. Consulte Preços do Compute Engine.
• Taxas de gerenciamento de treinamento personalizado da Vertex AI, além do uso da infraestrutura. Consulte os preços dos modelos treinados de maneira personalizada.

Antes de começar

• Revise os requisitos e restrições para reservas.
• Revise os requisitos de cota e as restrições para reservas compartilhadas.

Permitir que uma reserva seja consumida

Antes de consumir uma reserva de CPUs, VMs GPU ou TPUs, defina a política de compartilhamento para permitir que a Vertex AI consuma a reserva. Para fazer isso, use um dos seguintes métodos:

• Permitir o consumo ao criar uma reserva
• Permitir o consumo em uma reserva atual

Permitir o consumo ao criar uma reserva

Ao criar uma reserva de projeto único ou compartilhada de VMs de GPU, é possível permitir que a Vertex AI consuma a reserva da seguinte maneira:

• Se você estiver usando o console Google Cloud , na seção Serviços do Google Cloud, selecione Compartilhar reserva.
• Se você estiver usando a Google Cloud CLI, inclua a flag --reservation-sharing-policy definida como ALLOW_ALL.
• Se você estiver usando a API REST, inclua no corpo da solicitação o campo serviceShareType definido como ALLOW_ALL.

Permitir o consumo em uma reserva atual

Só é possível modificar uma reserva criada automaticamente de VMs de GPU ou TPUs para uma reserva adiantada após o horário de início da reserva.

Para permitir que a Vertex AI consuma uma reserva, use um dos seguintes métodos:

• Modificar uma reserva de VMs de GPU
• Modificar uma reserva de TPUs

Verificar se uma reserva foi consumida

Criar um job de treinamento personalizado com uma reserva

Use a API REST para criar um trabalho de treinamento personalizado que consuma uma reserva do Compute Engine de VMs de GPU.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

A seguir

• Saiba mais sobre reservas de recursos zonais do Compute Engine.
• Saiba como usar reservas com a previsão da Vertex AI.
• Saiba como conferir reservas.
• Saiba como monitorar o consumo das reservas.