Configurar recursos de computação para inferência

A Vertex AI aloca nós para processar inferências on-line e em lote. Ao implantar um modelo treinado personalizado ou um modelo do AutoML em um recurso Endpoint para exibir inferências on-line ou ao solicitar inferências em lote, é possível personalizar o tipo de máquina virtual que o serviço de inferência usa nesses nós. Se preferir, configure os nós de inferência para usar GPUs.

Os tipos de máquina são diferentes no seguinte:

• Número de CPUs virtuais (vCPUs) por nó
• Quantidade de memória por nó
• Preços

Ao selecionar um tipo de máquina com mais recursos de computação, é possível fornecer inferências com latência menor ou processar mais solicitações de inferência ao mesmo tempo.

Gerenciar custo e disponibilidade

Para ajudar a gerenciar custos ou garantir a disponibilidade de recursos de VM, a Vertex AI oferece o seguinte:

• Para que os recursos da VM estejam disponíveis quando os jobs de inferência precisarem deles, use as reservas do Compute Engine. As reservas fornecem um nível alto de garantia da capacidade dos recursos do Compute Engine. Para mais informações, consulte Usar reservas com inferência.

• Para reduzir o custo da execução dos jobs de inferência, use VMs spot. As VMs spot são instâncias de máquina virtual (VM) que excedem a capacidade do Compute Engine. Elas têm descontos significativos, mas o Compute Engine pode forçar a interrupção ou excluir essas VMs para recuperar a capacidade a qualquer momento. Para mais informações, consulte Usar VMs spot com inferência.

Onde especificar recursos de computação

Inferência on-line

Se você quiser usar um modelo treinado personalizado ou um modelo tabular do AutoML para exibir inferências on-line, é necessário especificar um tipo de máquina ao implantar o recurso Model como DeployedModel em um Endpoint. Para outros tipos de modelos do AutoML, a Vertex AI configura os tipos de máquina automaticamente.

Especifique o tipo de máquina (e, opcionalmente, a configuração de GPU) no campo dedicatedResources.machineSpec de DeployedModel.

Aprenda a implantar cada tipo de modelo:

• Implantar um modelo tabular do AutoML no Google Cloud console
• Implantar um modelo treinado personalizado no console Google Cloud
• Implantar um modelo treinado personalizado usando bibliotecas de cliente

Inferência em lote

Se você quiser receber inferências em lote de um modelo treinado personalizado ou um modelo tabular do AutoML, especifique um tipo de máquina ao criar um recurso BatchPredictionJob. Especifique o tipo de máquina (e, opcionalmente, a configuração de GPU) no campo dedicatedResources.machineSpec do seu BatchPredictionJob.

Tipos de máquina

A tabela a seguir compara os tipos de máquina disponíveis para veicular inferências de modelos treinados e personalizados do AutoML:

Saiba mais sobre os preços de cada tipo de máquina. Leia mais sobre as especificações detalhadas desses tipos de máquina na documentação do Compute Engine sobre tipos de máquinas.

Encontre o tipo de máquina ideal

Inferência on-line

Para encontrar o tipo de máquina ideal para seu caso de uso, recomendamos carregar o modelo em vários tipos de máquinas e medir características como latência, custo, simultaneidade e capacidade de processamento.

Uma maneira de fazer isso é executar este notebook em vários tipos de máquinas e comparar os resultados para encontrar aquele que funciona melhor para você.

A Vertex AI reserva aproximadamente 1 vCPU em cada réplica para executar processos do sistema. Isso significa que a execução do notebook em um único tipo de máquina de núcleo seria comparável ao uso de um tipo de máquina de dois núcleos para exibir inferências.

Ao considerar os custos de inferência, lembre-se de que máquinas maiores custam mais, mas podem reduzir o custo geral, porque menos réplicas são necessárias para atender a mesma carga de trabalho. Isso é particularmente evidente para GPUs, que tendem a custar mais por hora, mas podem fornecer menor latência e menor custo geral.

Inferência em lote

Para mais informações, consulte Escolher o tipo de máquina e a contagem de réplicas.

Aceleradores de GPU opcionais

Algumas configurações, como as séries A2 e G2, têm um número fixo de GPUs integradas.

A série A4X (a4x-highgpu-4g) exige uma contagem mínima de réplicas de 18. Essa máquina é comprada por rack e tem um mínimo de 18 VMs.

Outras configurações, como a série N1, permitem adicionar GPUs para acelerar cada nó de inferência.

Para adicionar aceleradores de GPU opcionais, você precisa considerar vários requisitos:

• Você só pode usar GPUs quando seuModel recurso é baseado em umaTensorFlow SavedModel ou quando você usar um contêiner personalizado. que foi projetada para aproveitar as GPUs. Não é possível usar GPUs para modelos scikit-learn ou XGBoost.
• A disponibilidade de cada tipo de GPU varia de acordo com a região usada para o modelo. Saiba quais tipos de GPUs estão disponíveis em quais regiões.
• Só é possível usar um tipo de GPU no seu recurso DeployedModel ou BatchPredictionJob, e há limitações no número de GPUs a serem adicionadas dependendo do tipo de máquina que você está usando. A tabela a seguir descreve essas limitações.

Confira na tabela a seguir as GPUs opcionais disponíveis para inferência on-line e quantas de cada tipo é possível usar com cada tipo de máquina do Compute Engine:

As GPUs opcionais geram custos adicionais.

Agendar várias réplicas em uma única VM

Para otimizar o custo da implantação, é possível implantar várias réplicas do mesmo modelo em uma única VM equipada com vários aceleradores de hardware de GPU, como a VM a3-highgpu-8g, que tem oito GPUs NVIDIA H100. Cada réplica de modelo pode ser atribuída a uma ou mais GPUs.

Para cargas de trabalho menores, também é possível particionar uma única GPU em várias instâncias menores usando GPUs NVIDIA com várias instâncias (MIG). Isso permite atribuir recursos em um nível de sub-GPU, maximizando a utilização de cada acelerador. Para mais informações sobre GPUs de várias instâncias, consulte o Guia do usuário de GPUs NVIDIA com várias instâncias.

Esses dois recursos foram criados para oferecer um uso mais eficiente dos recursos e maior custo-benefício para suas cargas de trabalho de serviço.

Limitações

Este recurso está sujeito às seguintes limitações:

• Todas as réplicas de modelo programadas juntas precisam ser da mesma versão.
• Não é possível usar pools de recursos de implantação para compartilhar recursos entre implantações.

Tipos de máquina compatíveis

Os seguintes tipos de máquina são compatíveis. Para tipos de máquinas com apenas uma GPU, não é necessário fazer o coscheduling.

Pré-requisitos

Antes de usar esse recurso, leia Implantar um modelo usando a CLI gcloud ou a API Vertex AI.

Como implantar as réplicas do modelo

Os exemplos a seguir demonstram como implantar réplicas de modelos com agendamento conjunto.

gcloud ai endpoints deploy-model ENDPOINT_ID \
  --region=LOCATION_ID \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --min-replica-count=MIN_REPLICA_COUNT \
  --max-replica-count=MAX_REPLICA_COUNT \
  --machine-type=MACHINE_TYPE \
  --accelerator=type=ACC_TYPE,count=ACC_COUNT \
  --traffic-split=0=100

POST https://LOCATION_ID-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel

{
  "deployedModel": {
    "model": "projects/PROJECT_NUMBER/locations/LOCATION_ID/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACC_TYPE",
        "gpuPartitionSize": "GPU_PARTITION_SIZE",
        "acceleratorCount": "ACC_COUNT""
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT,
      "autoscalingMetricSpecs": [
        {
          "metricName": "aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle",
          "target": 70
        }
      ]
    }
  }
}

curl -X POST \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel"

$headers = @{  }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

endpoint.deploy(
    model=<var>MODEL</var>,
    machine_type=MACHINE_TYPE,
    min_replica_count=MIN_REPLICA_COUNT,
    max_replica_count=MAX_REPLICA_COUNT,
    accelerator_type=ACC_TYPE,
    gpu_partition_size=GPU_PARTITION_SIZE,
    accelerator_count=ACC_COUNT
)

Monitorar o uso da VM

Use as instruções a seguir para monitorar a contagem real de máquinas das réplicas implantadas no Metrics Explorer.

1. No console Google Cloud , acesse a página Metrics Explorer.

   Acesse o Metrics Explorer

2. Selecione o projeto para o qual você quer ver as métricas.

3. No menu suspenso Métrica, clique em Selecionar uma métrica.

4. Na barra de pesquisa Filtrar por nome do recurso ou da métrica, digite Vertex AI Endpoint.

5. Selecione a categoria de métrica Endpoint da Vertex AI > Previsão. Em Métricas ativas, selecione Contagem de máquinas.

6. Clique em Aplicar.

Faturamento

O faturamento é baseado no número de VMs usadas, não no número de GPUs. É possível monitorar o uso da VM com o Metrics Explorer.

Alta disponibilidade

Como mais de uma réplica está sendo agendada na mesma VM, a inferência da Vertex AI não pode distribuir sua implantação em várias VMs e, portanto, em várias zonas até que a contagem de réplicas exceda o nó de VM única. Para fins de alta disponibilidade, o Google recomenda a implantação em pelo menos dois nós (VMs).

A seguir

• Implantar um modelo tabular do AutoML no Google Cloud console
• Implantar um modelo treinado personalizado no console Google Cloud
• Implantar um modelo treinado personalizado usando bibliotecas de cliente
• Receber inferências em lote