Usar reservas con inferencia

En este documento se explica cómo usar las reservas de Compute Engine para tener la certeza de que tus trabajos de predicción disponen de los recursos de máquina virtual (VM) necesarios para ejecutarse.

Las reservas son una función de Compute Engine. Te ayudan a asegurarte de que tienes los recursos disponibles para crear máquinas virtuales con el mismo hardware (memoria y vCPUs) y recursos opcionales (CPUs, GPUs, TPUs y discos SSD locales) cuando los necesites.

Cuando creas una reserva, Compute Engine verifica que la capacidad solicitada esté disponible en la zona especificada. Si es así, Compute Engine reserva los recursos, crea la reserva y ocurre lo siguiente:

• Puedes usar los recursos reservados inmediatamente y seguirán estando disponibles hasta que elimines la reserva.
• Se te cobrarán los recursos reservados a la misma tarifa bajo demanda que las máquinas virtuales en ejecución, incluidos los descuentos aplicables, hasta que se elimine la reserva. Las VMs que consumen una reserva no incurren en cargos independientes. Solo se te cobrarán los recursos que no estén incluidos en la reserva, como discos o direcciones IP. Para obtener más información, consulta los precios de las reservas.

Limitaciones y requisitos

Cuando uses reservas de Compute Engine con Vertex AI, ten en cuenta las siguientes limitaciones y requisitos:

• Vertex AI solo puede usar reservas para CPUs, VMs con GPU, o TPUs (vista previa).
• Vertex AI no puede consumir reservas de VMs que tengan discos SSD locales vinculados manualmente.
• Solo se admite el uso de reservas de Compute Engine con Vertex AI para el entrenamiento y la inferencia personalizados, así como para Vertex AI Workbench (vista previa).
• Las propiedades de la VM de una reserva deben coincidir exactamente con las de tu carga de trabajo de Vertex AI para que se pueda consumir la reserva. Por ejemplo, si una reserva especifica un tipo de máquina a2-ultragpu-8g, la carga de trabajo de Vertex AI solo podrá consumir la reserva si también usa un tipo de máquina a2-ultragpu-8g. Consulta los requisitos.
• Para consumir una reserva compartida de máquinas virtuales con GPU o TPUs, debes hacerlo con el proyecto propietario o con un proyecto consumidor con el que se haya compartido la reserva. Consulta Cómo funcionan las reservas compartidas.
• Para admitir actualizaciones periódicas de tus implementaciones de Vertex AI, te recomendamos que aumentes el número de VMs en más del número total de réplicas, tal como se indica a continuación, según el tipo de reserva que utilice tu DeployedModel:
  • SPECIFIC_RESERVATION: debe especificar al menos 1 VM adicional. Recomendamos un 10% (pero al menos 1). Los modelos implementados que usan SPECIFIC_RESERVATION tienen garantizado que solo consumirán VMs de la reserva. Vertex AI no puede realizar actualizaciones si no hay ninguna máquina virtual adicional.
  • ANY:
  • No es necesario tener más VMs, ya que los modelos implementados que usan ANY reservas utilizan VMs bajo demanda si la capacidad de la reserva no es suficiente. Sin embargo, si no tienes máquinas virtuales adicionales, es posible que tu reserva no se utilice por completo después de una actualización. Por ejemplo, supongamos que tienes una reserva con 40 VMs y que implementas un modelo con 40 réplicas usando esa reserva. Cuando realices la primera implementación, las 40 VMs de la reserva las usará DeployedModel. Después de la actualización, solo 36 VMs proceden de la reserva y 4 VMs son bajo demanda.
  • Si quieres mantener el uso dentro de la reserva, te recomendamos que tengas al menos 1 VM adicional por cada DeployedModel o DeploymentResourcePool que utilice la reserva. Si el número total de máquinas virtuales del mismo tipo en tus reservas de ANY es inferior a 50, te recomendamos que añadas un 10 % más (pero al menos 1). Si es superior a 50, recomendamos un 25% más. Por ejemplo:
    • Si tienes previsto desplegar modelos con 40 máquinas virtuales A3, puedes tener una reserva A3 con 44 máquinas virtuales o dos reservas A3: la reserva X con 30 máquinas virtuales y la reserva Y con 14 máquinas virtuales (44 en total). Lo mismo ocurre con otros números de reservas, siempre que se compartan con Vertex AI y el número total de VMs de esas reservas sea de al menos 44.
    • Si tienes previsto desplegar modelos con 100 máquinas virtuales A3, el número total de máquinas virtuales de todas las reservas A3 compartidas con Vertex AI debe ser de al menos 125.
    • Si tienes previsto desplegar 2 modelos con 10 VMs, el número total de VMs de todas las reservas de A3 compartidas con Vertex AI debe ser de al menos 12. El número de VMs es inferior a 50, pero el número de VMs adicionales es 2 (1 por DeployedModel).

Facturación

Cuando usas reservas de Compute Engine, se te cobra por lo siguiente:

• Precios de los recursos de Compute Engine, incluidos los descuentos por compromiso de uso (CUDs) aplicables. Consulta los precios de Compute Engine.
• Tarifas de gestión de predicciones de Vertex AI, además del uso de la infraestructura. Consulta los precios de Prediction.

Antes de empezar

• Consulta los requisitos y las restricciones de las reservas.
• Consulte los requisitos de cuota y las restricciones de las reservas compartidas.

Permitir que se consuma una reserva

Antes de consumir una reserva de CPUs, VMs con GPU o TPUs, debes definir su política de uso compartido para permitir que Vertex AI consuma la reserva. Para ello, utilice uno de los siguientes métodos:

• Permitir el consumo al crear una reserva
• Permitir el consumo en una reserva activa

Permitir el consumo al crear una reserva

Cuando creas una reserva de un solo proyecto o una reserva compartida de VMs con GPU, puedes permitir que Vertex AI consuma la reserva de la siguiente manera:

• Si usas la Google Cloud consola, ve a la sección Servicios de Google Cloud y selecciona Compartir reserva.
• Si usas Google Cloud CLI, incluye la marca --reservation-sharing-policy definida como ALLOW_ALL.
• Si usas la API REST, incluye en el cuerpo de la solicitud el campo serviceShareType con el valor ALLOW_ALL.

Permitir el consumo en una reserva

Solo puedes modificar una reserva creada automáticamente de VMs con GPU o TPUs para una reserva futura después de la hora de inicio de la reserva.

Para permitir que Vertex AI use una reserva, utilice uno de los siguientes métodos:

• Modificar una reserva de VMs con GPU
• Modificar una reserva de TPUs

Verificar que se ha consumido una reserva

Obtener inferencias mediante una reserva

Para crear un despliegue de modelo que consuma una reserva de máquinas virtuales con GPU de Compute Engine, usa la API REST o el SDK de Vertex AI para Python.

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel

{
  "deployedModel": {
    "model": "projects/PROJECT/locations/LOCATION_ID/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT,
        "reservationAffinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT
    },
  },
  "trafficSplit": {
    "0": TRAFFIC_SPLIT_THIS_MODEL,
    "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1,
    "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2
  },
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.DeployModelOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-10-19T17:53:16.502088Z",
      "updateTime": "2020-10-19T17:53:16.502088Z"
    }
  }
}

Siguientes pasos

• Consulta más información sobre las reservas de recursos de zona de Compute Engine.
• Consulta cómo usar reservas con el entrenamiento de Vertex AI.
• Consulta cómo ver las reservas.
• Consulta cómo monitorizar el consumo de reservas.