Utiliser des réservations avec l'inférence

Ce document explique comment utiliser les réservations Compute Engine pour vous assurer que vos jobs de prédiction disposent des ressources de machines virtuelles (VM) nécessaires à leur exécution.

Les réservations sont une fonctionnalité de Compute Engine. Elles vous permettent de vous assurer que vous disposez des ressources nécessaires pour créer des VM avec le même matériel (mémoire et processeurs virtuels) et les mêmes ressources facultatives (processeurs, GPU, TPU et disques SSD locaux) chaque fois que vous en avez besoin.

Lorsque vous créez une réservation, Compute Engine vérifie que la capacité demandée est disponible dans la zone spécifiée. Si c'est le cas, Compute Engine réserve les ressources et crée la réservation. Les événements suivants se produisent alors :

• Vous pouvez consommer immédiatement les ressources réservées. Elles restent disponibles jusqu'à ce que vous supprimiez la réservation.
• Les ressources réservées vous sont facturées au même tarif à la demande que les VM en cours d'exécution, y compris les remises applicables, jusqu'à ce que la réservation soit supprimée. Une VM qui consomme une réservation n'entraîne pas de frais distincts. Vous n'êtes facturé que pour les ressources en dehors de la réservation, telles que les disques ou les adresses IP. Pour en savoir plus, consultez les tarifs des réservations.

Limites et exigences

Lorsque vous utilisez des réservations Compute Engine avec Vertex AI, tenez compte des limites et des exigences suivantes :

• Vertex AI ne peut utiliser que les réservations pour les CPU (preview), les VM GPU ou les TPU (preview).
• Vertex AI ne peut pas utiliser les réservations de VM auxquelles des disques SSD locaux ont été associés manuellement.
• L'utilisation de réservations Compute Engine avec Vertex AI n'est possible que pour l'entraînement et l'inférence personnalisés, ainsi que pour Vertex AI Workbench (preview).
• Pour utiliser une réservation, les propriétés de VM de la réservation doivent correspondre exactement à celles de votre charge de travail Vertex AI. Par exemple, si une réservation spécifie un type de machine a2-ultragpu-8g, la charge de travail Vertex AI ne peut utiliser la réservation que si elle utilise également un type de machine a2-ultragpu-8g. Consultez les conditions requises.
• Pour utiliser une réservation partagée de VM GPU ou de TPU, vous devez l'utiliser avec son projet propriétaire ou un projet client avec lequel la réservation est partagée. Consultez la section Fonctionnement des réservations partagées.
• Pour permettre la mise à jour régulière de vos déploiements Vertex AI, nous vous recommandons d'augmenter le nombre de VM d'au moins une VM pour chaque déploiement simultané.DeployedModel
  • SPECIFIC_RESERVATION : vous devez spécifier au moins une VM supplémentaire. Nous vous recommandons d'en ajouter 10 % (mais au moins une). Les modèles déployés à l'aide de SPECIFIC_RESERVATION sont garantis de ne consommer que des VM de la réservation. Vertex AI ne peut pas effectuer de mises à jour s'il n'y a pas de VM supplémentaire.
  • ANY :
  • Il n'est pas nécessaire d'avoir des VM supplémentaires, car les modèles déployés utilisant la réservation ANY utilisent des VM à la demande si la capacité de réservation n'est pas suffisante. Toutefois, sans VM supplémentaires, votre réservation risque de ne pas être entièrement utilisée après une mise à niveau. Par exemple, supposons que vous disposiez d'une réservation de 40 VM et que vous déployiez un modèle avec 40 répliques à l'aide de cette réservation. Lors du premier déploiement, les 40 VM de la réservation sont utilisées par DeployedModel. Après la mise à niveau, seules 36 VM proviennent de la réservation et 4 VM sont à la demande.
  • Si vous souhaitez que l'utilisation reste dans la réservation, nous vous recommandons d'avoir au moins une VM supplémentaire pour chaque DeployedModel ou DeploymentResourcePool utilisant la réservation. Si le nombre total de VM du même type dans vos réservations ANY est inférieur à 50, nous vous recommandons d'en ajouter 10 % (mais au moins une). Si elle est supérieure à 50, nous vous recommandons d'augmenter votre budget de 25 %. Par exemple :
    • Si vous prévoyez de déployer des modèles à l'aide de 40 VM A3, vous pouvez créer une réservation A3 avec 44 VM ou deux réservations A3 : la réservation X avec 30 VM et la réservation Y avec 14 VM (44 VM au total). Il en va de même pour les autres nombres de réservations, à condition qu'elles soient toutes partagées avec Vertex AI et que le nombre total de VM dans ces réservations soit d'au moins 44.
    • Si vous prévoyez de déployer des modèles à l'aide de 100 VM A3, le nombre total de VM dans toutes les réservations A3 partagées avec Vertex AI doit être d'au moins 125.
    • Si vous prévoyez de déployer deux modèles à l'aide de 10 VM, le nombre total de VM dans toutes les réservations A3 partagées avec Vertex AI doit être d'au moins 12. Le nombre de VM est inférieur à 50, mais le nombre de VM supplémentaires est de 2 (1 par DeployedModel).
• Pour utiliser une réservation SPECIFIC_RESERVATION, accordez le rôle IAM Lecteur Compute au compte de service Vertex AI dans le projet qui possède les réservations (service-${PROJECT_NUMBER}@gcp-sa-aiplatform.iam.gserviceaccount.com, où PROJECT_NUMBER est le numéro du projet qui utilise la réservation).

• Les services et fonctionnalités suivants ne sont pas compatibles avec l'utilisation de réservations Compute Engine avec l'inférence Vertex AI :

  • Conformité au Federal Risk and Authorization Management Program (FedRAMP)

Facturation

Lorsque vous utilisez des réservations Compute Engine, vous êtes facturé pour les éléments suivants :

• Tarifs Compute Engine pour les ressources Compute Engine, y compris les remises sur engagement d'utilisation applicables. Consultez la page Tarifs de Compute Engine.
• Des frais de gestion de la prédiction Vertex AI s'ajoutent à votre utilisation de l'infrastructure. Consultez la page Tarifs des prédictions.

Avant de commencer

• Consultez les exigences et restrictions applicables aux réservations.
• Consultez les exigences relatives aux quotas et les restrictions applicables aux réservations partagées.

Autoriser l'utilisation d'une réservation

Avant de consommer une réservation de CPU, de VM avec GPU ou de TPU, vous devez définir sa règle de partage pour autoriser Vertex AI à consommer la réservation. Pour ce faire, utilisez l'une des méthodes suivantes :

• Autoriser la consommation lors de la création d'une réservation
• Autoriser la consommation dans une réservation existante

Autoriser la consommation lors de la création d'une réservation

Lorsque vous créez une réservation à projet unique ou partagée de VM avec GPU, vous pouvez autoriser Vertex AI à utiliser la réservation comme suit :

• Si vous utilisez la console Google Cloud , sélectionnez Partager la réservation dans la section Services Google Cloud.
• Si vous utilisez Google Cloud CLI, incluez l'option --reservation-sharing-policy définie sur ALLOW_ALL.
• Si vous utilisez l'API REST, incluez le champ serviceShareType défini sur ALLOW_ALL dans le corps de la requête.

Autoriser la consommation dans une réservation existante

Vous ne pouvez modifier une réservation créée automatiquement de VM avec GPU ou de TPU pour une réservation future qu'après l'heure de début de la réservation.

Pour autoriser Vertex AI à utiliser une réservation existante, utilisez l'une des méthodes suivantes :

• Modifier une réservation de VM avec GPU
• Modifier une réservation de TPU

Vérifier qu'une réservation est utilisée

Obtenir des inférences à l'aide d'une réservation

Pour créer un déploiement de modèle qui consomme une réservation Compute Engine de VM GPU, utilisez l'API REST ou le SDK Vertex AI pour Python.

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel

{
  "deployedModel": {
    "model": "projects/PROJECT/locations/LOCATION_ID/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT,
        "reservationAffinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT
    },
  },
  "trafficSplit": {
    "0": TRAFFIC_SPLIT_THIS_MODEL,
    "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1,
    "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2
  },
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.DeployModelOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-10-19T17:53:16.502088Z",
      "updateTime": "2020-10-19T17:53:16.502088Z"
    }
  }
}

Étapes suivantes

• Découvrir les réservations de ressources zonales Compute Engine.
• Découvrez comment utiliser des réservations avec Vertex AI Training.
• Découvrez comment afficher les réservations.
• Découvrez comment surveiller la consommation des réservations.