Utilizzare gli endpoint di accesso ai servizi privati per l'inferenza online

Panoramica

Prima di eseguire l'inferenza online con endpoint privati, devi configurare l'accesso privato ai servizi per creare connessioni di peering tra la tua rete e Vertex AI. Se l'hai già configurato, puoi utilizzare le connessioni di peering esistenti.

Questa guida illustra le seguenti attività:

• Verificare lo stato delle connessioni di peering esistenti.
• Verificare che le API necessarie siano abilitate.
• Creazione di un endpoint privato.
• Eseguire il deployment di un modello in un endpoint privato.
  • Supporta un solo modello per endpoint privato. È diverso da un endpoint Vertex AI pubblico in cui puoi suddividere il traffico tra più modelli di cui è stato eseguito il deployment in un endpoint.
  • L'endpoint privato supporta i modelli tabulari e con addestramento personalizzato AutoML.
• Invio di un'inferenza a un endpoint privato.
• Pulizia delle risorse

Controllare lo stato delle connessioni di peering esistenti

Se hai già connessioni di peering che utilizzi con Vertex AI, puoi elencarle per verificarne lo stato:

gcloud compute networks peerings list --network NETWORK_NAME

Dovresti vedere che lo stato delle connessioni peering è ACTIVE. Scopri di più sulle connessioni di peering attive.

Abilita le API necessarie

gcloud services enable aiplatform.googleapis.com
gcloud services enable dns.googleapis.com

Creare un endpoint privato

Per creare un endpoint privato, aggiungi il flag --network quando crei un endpoint utilizzando Google Cloud CLI:

gcloud beta ai endpoints create \
  --display-name=ENDPOINT_DISPLAY_NAME \
  --network=FULLY_QUALIFIED_NETWORK_NAME \
  --region=REGION

Sostituisci NETWORK_NAME con il nome completo della rete:

projects/PROJECT_NUMBER/global/networks/NETWORK_NAME

Se crei l'endpoint senza specificare una rete, crei un endpoint pubblico.

Limitazioni degli endpoint privati

Tieni presenti le seguenti limitazioni per gli endpoint privati:

• Gli endpoint privati non supportano la suddivisione del traffico. Come soluzione alternativa, puoi creare la suddivisione del traffico manualmente eseguendo il deployment del modello in più endpoint privati e suddividendo il traffico tra gli URL di inferenza risultanti per ogni endpoint privato.
• Gli endpoint privati non supportano SSL/TLS.
• Per attivare il logging degli accessi su un endpoint privato, contatta vertex-ai-feedback@google.com.
• Puoi utilizzare una sola rete per tutti gli endpoint privati di un Google Cloud progetto. Se vuoi passare a un'altra emittente, contatta vertex-ai-feedback@google.com.
• È vivamente consigliato il nuovo tentativo lato client in caso di errori recuperabili. Questi possono includere i seguenti errori:
  • Risposta vuota (codice di errore HTTP 0), probabilmente a causa di una connessione interrotta temporaneamente.
  • Codici di errore HTTP 5xx che indicano che il servizio potrebbe essere temporaneamente non disponibile.
• Per il codice di errore HTTP 429 che indica che il sistema è sovraccaricato, valuta la possibilità di rallentare il traffico per attenuare il problema anziché riprovare.
• Le richieste di inferenza da PredictionServiceClient nella libreria client Python di Vertex AI non sono supportate.
• L'endpoint Private Service Access non supporta i modelli di base ottimizzati. Per un modello di base ottimizzato, esegui il deployment utilizzando un endpoint Private Service Connect.

Monitorare gli endpoint privati

Puoi utilizzare la dashboard delle metriche per controllare la disponibilità e la latenza del traffico inviato a un endpoint privato.

Per personalizzare il monitoraggio, esegui query sulle seguenti metriche in Cloud Monitoring:

• aiplatform.googleapis.com/prediction/online/private/response_count

  Il numero di risposte all'inferenza. Puoi filtrare questa metrica in base a deployed_model_id o al codice di risposta HTTP.

• aiplatform.googleapis.com/prediction/online/private/prediction_latencies

  La latenza della richiesta di inferenza in millisecondi. Puoi filtrare questa metrica in base a deployed_model_id, solo per le richieste andate a buon fine.

Scopri come selezionare, eseguire query e visualizzare queste metriche in Metrics Explorer.

Esegui il deployment di un modello

Puoi importare un nuovo modello o eseguire il deployment di un modello esistente che hai già caricato. Per caricare un nuovo modello, utilizza gcloud ai models upload. Per ulteriori informazioni, consulta Importare modelli in Vertex AI.

1. Per eseguire il deployment di un modello su un endpoint privato, consulta la guida al deployment dei modelli. Oltre a suddividere il traffico e attivare manualmente la registrazione degli accessi, puoi utilizzare qualsiasi altra opzione disponibile per il deployment di modelli con addestramento personalizzato. Consulta le limitazioni degli endpoint privati per scoprire di più su come differiscono dagli endpoint pubblici.

2. Dopo aver eseguito il deployment dell'endpoint, puoi recuperare l'URI di inferenza dai metadati dell'endpoint privato.

   1. Se hai il nome visualizzato del tuo endpoint privato, esegui questo comando per recuperare l'ID endpoint:

      ENDPOINT_ID=$(gcloud ai endpoints list \
                --region=REGION \
                --filter=displayName:ENDPOINT_DISPLAY_NAME \
                --format="value(ENDPOINT_ID.scope())")
      

      In caso contrario, per visualizzare l'ID e il nome visualizzato di tutti gli endpoint, esegui il seguente comando:

      gcloud ai endpoints list --region=REGION
      

   2. Infine, per ottenere l'URI di inferenza, esegui il seguente comando:

      gcloud beta ai endpoints describe ENDPOINT_ID \
        --region=REGION \
        --format="value(deployedModels.privateEndpoints.predictHttpUri)"
      

Formato dell'URI di deduzione privata

L'URI di inferenza ha un aspetto diverso per gli endpoint privati rispetto agli endpoint pubblici di Vertex AI:

http://ENDPOINT_ID.aiplatform.googleapis.com/v1/models/DEPLOYED_MODEL_ID:predict

Se scegli di annullare il deployment del modello corrente ed eseguirlo di nuovo con uno nuovo, il nome di dominio viene riutilizzato, ma il percorso include un ID modello di deployment diverso.

Inviare un'inferenza a un endpoint privato

1. Crea un'istanza Compute Engine nella tua rete VPC. Assicurati di creare l'istanza nella stessa rete VPC con cui hai eseguito il peering con Vertex AI.

2. Accedi con SSH all'istanza Compute Engine e installa il client di inferenza, se applicabile. In caso contrario, puoi utilizzare curl.

3. Per le previsioni, utilizza l'URL di inferenza ottenuto dal deployment del modello. In questo esempio, invii la richiesta dal client di inferenza nell'istanza Compute Engine nella stessa rete VPC:

   curl -X POST -d@PATH_TO_JSON_FILE  http://ENDPOINT_ID.aiplatform.googleapis.com/v1/models/DEPLOYED_MODEL_ID:predict
   

   In questa richiesta di esempio, PATH_TO_JSON_FILE è il percorso della richiesta di inferenza salvata come file JSON. Ad esempio, example-request.json.

Liberare le risorse

Puoi annullare il deployment dei modelli ed eliminare gli endpoint privati come faresti per i modelli e gli endpoint pubblici.

Esempio: test degli endpoint privati in VPC condiviso

Questo esempio utilizza due Google Cloud progetti con una rete VPC condiviso:

• Il progetto host ospita la rete VPC condiviso.
• Il progetto client ospita un'istanza Compute Engine in cui esegui un client di inferenza, ad esempio curl, o il tuo client REST nell'istanza Compute Engine per inviare richieste di inferenza.

Quando crei l'istanza Compute Engine nel progetto client, deve rientrare nella subnet personalizzata della rete VPC condiviso del progetto host e nella stessa regione in cui viene eseguito il deployment del modello.

1. Crea le connessioni di peering per l'accesso privato ai servizi nel progetto host. Esegui gcloud services vpc-peerings connect:

   gcloud services vpc-peerings connect \
     --service=servicenetworking.googleapis.com \
     --network=HOST_SHARED_VPC_NAME \
     --ranges=PREDICTION_RESERVED_RANGE_NAME \
     --project=HOST_PROJECT_ID
   

2. Crea l'endpoint nel progetto client utilizzando il nome della rete del progetto host. Esegui gcloud beta ai endpoints create:

   gcloud beta ai endpoints create \
     --display-name=ENDPOINT_DISPLAY_NAME \
     --network=HOST_SHARED_VPC_NAME \
     --region=REGION \
     --project=CLIENT_PROJECT_ID
   

3. Invia richieste di inferenza utilizzando il client di inferenza all'interno del progetto cliente.