Questa pagina descrive come valutare i modelli utilizzando Vertex AI. Per una panoramica, consulta la sezione Valutazione dei modelli in Vertex AI.
Prerequisiti
Segui i passaggi descritti in Configurare un progetto e un ambiente di sviluppo. Inoltre, attiva i seguenti servizi:
Vertex AI può valutare i modelli addestrati tramite AutoML o addestramento personalizzato. Per la guida della console Google Cloud, devi avere importato un modello addestrato nel Model Registry di Vertex AI.
Carica il set di dati di test in BigQuery o Cloud Storage. Il set di dati di test deve contenere i dati empirici reali, ovvero il risultato effettivo previsto per una previsione. Ottieni il link al file o all'ID del set di dati.
Avere un output di previsione batch sotto forma di tabella BigQuery o URI Cloud Storage.
Assicurati che il tuo account di servizio Compute Engine predefinito disponga delle seguenti autorizzazioni IAM:
- Vertex AI Administrator (
aiplatform.admin) - Vertex AI Service Agent (
aiplatform.serviceAgent) - Storage Object Admin (
storage.objectAdmin) - Dataflow Worker (
dataflow.worker) - BigQuery Data Editor (
bigquery.dataEditor) (obbligatorio solo se fornisci i dati sotto forma di tabelle BigQuery)
- Vertex AI Administrator (
Crea una valutazione
Console
Nella console Google Cloud, vai alla pagina Modelli Vertex AI.
Fai clic sul nome del modello da valutare.
Fai clic sul numero di versione del modello.
Nella scheda Valuta, fai clic su Crea valutazione.
Inserisci un nome della valutazione.
Seleziona uno scopo, ad esempio classificazione o regressione.
Inserisci il nome della colonna target di valutazione, ovvero la colonna dei dati di addestramento che il modello è addestrato a prevedere.
In Seleziona origine, seleziona l'origine per il set di dati di test.
In Tabella BigQuery, inserisci il percorso BigQuery.
In File su Cloud Storage, inserisci il percorso Cloud Storage.
Per Output di previsione batch, seleziona un formato di output.
- Inserisci il percorso BigQuery o l'URI Cloud Storage.
Fai clic su Avvia valutazione.
Python
Per visualizzare il flusso di lavoro di valutazione dei modelli dell'API Vertex AI in Vertex AI Pipelines, consulta i notebook di esempio per i seguenti tipi di modelli:
SDK Python
L'SDK per la valutazione dei modelli con Vertex AI è in fase sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.
Vertex AI invia automaticamente una notifica via email al termine di un job di valutazione del modello.
Visualizzare le metriche di valutazione
Console
Nella console Google Cloud, vai alla pagina Modelli Vertex AI.
Vai alla versione del modello.
Visualizza le metriche nella scheda Valuta.
Python
Per visualizzare il flusso di lavoro di valutazione dei modelli dell'API Vertex AI in Vertex AI Pipelines, consulta i notebook di esempio per i seguenti tipi di modelli:
SDK Python
L'SDK per la valutazione dei modelli con Vertex AI è in fase sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.
Confrontare le metriche di valutazione
Puoi confrontare i risultati di valutazione tra diversi modelli, versioni del modello e job di valutazione. Per ulteriori informazioni sul controllo delle versioni dei modelli, consulta Controllo delle versioni nel Registro modelli.
Puoi confrontare solo modelli dello stesso tipo, ad esempio di classificazione, regressione o previsione. Quando confronti modelli diversi, tutte le versioni dei modelli devono essere dello stesso tipo.
Puoi confrontare al massimo cinque valutazioni alla volta.
Vai a Vertex AI Model Registry nella console Google Cloud:
Vai al modello o alla versione del modello:
Per confrontare diversi modelli nella pagina Modelli, seleziona le caselle di controllo accanto ai nomi dei modelli da confrontare.
Per confrontare le diverse versioni del modello:
Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.
Seleziona le caselle di controllo accanto alle versioni da confrontare.
Per confrontare i job di valutazione per la stessa versione del modello:
Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.
Fai clic sul numero di versione.
Seleziona le caselle di controllo accanto ai job di valutazione da confrontare.
Fai clic su Confronta.
Passaggi successivi
- Scopri come eseguire l'iterazione del modello.