Per eseguire il deployment di un modello utilizzando gcloud CLI o l'API Vertex AI, devi prima creare un endpoint pubblico.
Se hai già un endpoint pubblico esistente, puoi saltare questo passaggio e procedere con il deployment di un modello utilizzando gcloud CLI o l'API Vertex AI.
Questo documento descrive la procedura per creare un nuovo endpoint pubblico.
Crea un endpoint pubblico dedicato (consigliato)
Il timeout predefinito per le richieste di un endpoint pubblico dedicato è 10 minuti.
Nell'API Vertex AI e nell'SDK Vertex AI per Python, facoltativamente puoi specificare un timeout della richiesta diverso aggiungendo un oggetto clientConnectionConfig
contenente un nuovo valore inferenceTimeout
, come mostrato nell'esempio seguente. Il valore massimo del timeout è
3600 secondi (1 ora).
Console Google Cloud
-
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Previsione online.
Vai alla pagina Previsione online - Fai clic su Crea.
- Nel riquadro Nuovo endpoint:
- Inserisci il nome dell'endpoint.
- Seleziona Standard per il tipo di accesso.
- Seleziona la casella di controllo Attiva DNS dedicato.
- Fai clic su Continua.
- Fai clic su Fine.
REST
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- LOCATION_ID: la tua regione.
- PROJECT_ID: il tuo ID progetto.
- ENDPOINT_NAME: il nome visualizzato dell'endpoint.
- (Facoltativo) INFERENCE_TIMEOUT_SECS: numero di secondi nel campo facoltativo
inferenceTimeout
.
Metodo HTTP e URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
Corpo JSON della richiesta:
{ "display_name": "ENDPOINT_NAME" "dedicatedEndpointEnabled": true, "clientConnectionConfig": { "inferenceTimeout": { "seconds": INFERENCE_TIMEOUT_SECS } } }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done":
true
.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione Python riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Python di Vertex AI.
Per autenticarti a Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Sostituisci quanto segue:
- PROJECT_ID: il tuo ID progetto.
- LOCATION_ID: la regione in cui utilizzi Vertex AI.
- ENDPOINT_NAME: il nome visualizzato dell'endpoint.
- (Facoltativo) INFERENCE_TIMEOUT_SECS: numero di secondi nel valore facoltativo
inference_timeout
.
from google.cloud import aiplatform
PROJECT_ID = "PROJECT_ID"
LOCATION = "LOCATION_ID"
ENDPOINT_NAME = "ENDPOINT_NAME"
INFERENCE_TIMEOUT_SECS = "INFERENCE_TIMEOUT_SECS"
aiplatform.init(
project=PROJECT_ID,
location=LOCATION,
api_endpoint=ENDPOINT_NAME,
)
dedicated_endpoint = aiplatform.Endpoint.create(
display_name=DISPLAY_NAME,
dedicated_endpoint_enabled=True,
sync=True,
inference_timeout=INFERENCE_TIMEOUT_SECS,
)
Creare un endpoint pubblico condiviso
Console Google Cloud
-
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Previsione online.
Vai alla pagina Previsione online - Fai clic su Crea.
- Nel riquadro Nuovo endpoint:
- Inserisci il nome dell'endpoint.
- Seleziona Standard per il tipo di accesso.
- Fai clic su Continua.
- Fai clic su Fine.
gcloud
Nell'esempio seguente viene utilizzato il comando gcloud ai endpoints create
:
gcloud ai endpoints create \
--region=LOCATION_ID \
--display-name=ENDPOINT_NAME
Sostituisci quanto segue:
- LOCATION_ID: la regione in cui utilizzi Vertex AI.
- ENDPOINT_NAME: il nome visualizzato dell'endpoint.
Lo strumento Google Cloud CLI potrebbe richiedere alcuni secondi per creare l'endpoint.
REST
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- LOCATION_ID: la tua regione.
- PROJECT_ID: il tuo ID progetto.
- ENDPOINT_NAME: il nome visualizzato dell'endpoint.
Metodo HTTP e URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
Corpo JSON della richiesta:
{ "display_name": "ENDPOINT_NAME" }
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done":
true
.
Terraform
L'esempio seguente utilizza la risorsa Terraform google_vertex_ai_endpoint
per creare un endpoint.
Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Vertex AI.
Per autenticarti a Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione Node.js riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js di Vertex AI.
Per autenticarti a Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
SDK Vertex AI per Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta la Documentazione di riferimento dell'API Vertex AI SDK per Python.
Passaggi successivi
- Esegui il deployment di un modello utilizzando l'interfaccia a riga di comando gcloud o l'API Vertex AI.
- Scopri come ottenere una previsione online.