Pour déployer un modèle à l'aide de la CLI gcloud ou de l'API Vertex AI, vous devez d'abord créer un point de terminaison public.
Si vous disposez déjà d'un point de terminaison public, vous pouvez ignorer cette étape et passer à la section Déployer un modèle à l'aide de la CLI gcloud ou de l'API Vertex AI.
Ce document décrit la procédure de création d'un point de terminaison public.
Créer un point de terminaison public dédié (recommandé)
Le délai avant expiration des requêtes par défaut pour un point de terminaison public dédié est de 10 minutes.
Dans l'API Vertex AI et le SDK Vertex AI pour Python, vous pouvez éventuellement spécifier un délai avant expiration de requête différent en ajoutant un objet clientConnectionConfig
contenant une nouvelle valeur inferenceTimeout
, comme illustré dans l'exemple suivant. La valeur maximale du délai avant expiration est de 3 600 secondes (1 heure).
Console Google Cloud
-
Dans la console Google Cloud, dans la section Vertex AI, accédez à la page Prédiction en ligne.
Accédez à la page "Prédiction en ligne". - Cliquez sur Créer.
- Dans le volet Nouveau point de terminaison:
- Saisissez le nom du point de terminaison.
- Sélectionnez Standard comme type d'accès.
- Cochez la case Activer le DNS dédié.
- Cliquez sur Continuer.
- Cliquez sur OK.
REST
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- LOCATION_ID : votre région.
- PROJECT_ID : l'ID de votre projet.
- ENDPOINT_NAME : nom du point de terminaison à afficher.
- INFERENCE_TIMEOUT_SECS (facultatif) : nombre de secondes dans le champ
inferenceTimeout
facultatif.
Méthode HTTP et URL :
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
Corps JSON de la requête :
{ "display_name": "ENDPOINT_NAME" "dedicatedEndpointEnabled": true, "clientConnectionConfig": { "inferenceTimeout": { "seconds": INFERENCE_TIMEOUT_SECS } } }
Pour envoyer votre requête, développez l'une des options suivantes :
Vous devriez recevoir une réponse JSON de ce type :
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done":
true
.
Python
Avant d'essayer cet exemple, suivez les instructions de configuration pour Python décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Python.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet
- LOCATION_ID : région dans laquelle vous utilisez Vertex AI.
- ENDPOINT_NAME : nom du point de terminaison à afficher.
- INFERENCE_TIMEOUT_SECS (facultatif) : nombre de secondes dans la valeur facultative
inference_timeout
.
from google.cloud import aiplatform
PROJECT_ID = "PROJECT_ID"
LOCATION = "LOCATION_ID"
ENDPOINT_NAME = "ENDPOINT_NAME"
INFERENCE_TIMEOUT_SECS = "INFERENCE_TIMEOUT_SECS"
aiplatform.init(
project=PROJECT_ID,
location=LOCATION,
api_endpoint=ENDPOINT_NAME,
)
dedicated_endpoint = aiplatform.Endpoint.create(
display_name=DISPLAY_NAME,
dedicated_endpoint_enabled=True,
sync=True,
inference_timeout=INFERENCE_TIMEOUT_SECS,
)
Créer un point de terminaison public partagé
Console Google Cloud
-
Dans la console Google Cloud, dans la section Vertex AI, accédez à la page Prédiction en ligne.
Accédez à la page "Prédiction en ligne". - Cliquez sur Créer.
- Dans le volet Nouveau point de terminaison:
- Saisissez le nom du point de terminaison.
- Sélectionnez Standard comme type d'accès.
- Cliquez sur Continuer.
- Cliquez sur OK.
gcloud
L'exemple suivant utilise la commande gcloud ai endpoints create
:
gcloud ai endpoints create \
--region=LOCATION_ID \
--display-name=ENDPOINT_NAME
Remplacez l'élément suivant :
- LOCATION_ID : région dans laquelle vous utilisez Vertex AI.
- ENDPOINT_NAME : nom du point de terminaison à afficher.
La création du point de terminaison par l'outil Google Cloud CLI peut prendre quelques secondes.
REST
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- LOCATION_ID : votre région.
- PROJECT_ID : l'ID de votre projet.
- ENDPOINT_NAME : nom du point de terminaison à afficher.
Méthode HTTP et URL :
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
Corps JSON de la requête :
{ "display_name": "ENDPOINT_NAME" }
Pour envoyer votre requête, développez l'une des options suivantes :
Vous devriez recevoir une réponse JSON de ce type :
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done":
true
.
Terraform
L'exemple suivant utilise la ressource Terraform google_vertex_ai_endpoint
pour créer un point de terminaison.
Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez la page Commandes Terraform de base.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration pour Java décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Java.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration pour Node.js décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Node.js.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
SDK Vertex AI pour Python
Pour savoir comment installer ou mettre à jour le SDK Vertex AI pour Python, consultez la section Installer le SDK Vertex AI pour Python. Pour en savoir plus, consultez la documentation de référence de l'API SDK Vertex AI pour Python.
Étape suivante
- Déployez un modèle à l'aide de la CLI gcloud ou de l'API Vertex AI.
- Découvrez comment obtenir une prédiction en ligne.