Definisci le metriche di valutazione

Il primo passaggio per valutare i modelli o le applicazioni generativi è identificare lo scopo della valutazione e definire le metriche di valutazione. Questa pagina fornisce una panoramica dei concetti relativi alla definizione delle metriche di valutazione per il tuo caso d'uso.

Panoramica

I modelli di IA generativa possono essere utilizzati per creare applicazioni per una vasta gamma di attività, come riassumere articoli di notizie, rispondere alle richieste dei clienti o fornire assistenza per la scrittura di codice. Il servizio di valutazione dell'IA generativa in Vertex AI ti consente di valutare qualsiasi modello con metriche spiegabili.

Ad esempio, potresti sviluppare un'applicazione per riassumere gli articoli. Per valutare il rendimento dell'applicazione per l'attività specifica, prendi in considerazione i criteri che vuoi misurare e le metriche che utilizzerai per assegnare un punteggio:

• Criteri: una o più dimensioni in base alle quali eseguire la valutazione, ad esempio conciseness, relevance, correctness o appropriate choice of words.

• Metriche: un singolo punteggio che misura l'output del modello in base a criteri.

Il servizio di valutazione dell'IA generativa fornisce due tipi principali di metriche:

• Metriche basate su modelli: le nostre metriche basate su modelli valutano il modello candidato rispetto a un modello di giudizio. Il modello di valutazione per la maggior parte dei casi d'uso è Gemini, ma puoi utilizzare anche modelli come MetricX o COMET per i casi d'uso di traduzione.

  Puoi misurare le metriche basate su modelli a coppie o a punti:

  • Metriche punto per punto: consenti al modello di valutazione di valutare l'output del modello candidato in base ai criteri di valutazione. Ad esempio, il punteggio potrebbe essere compreso tra 0 e 5, dove 0 indica che la risposta non soddisfa i criteri, mentre 5 indica che la risposta soddisfa bene i criteri.

  • Metriche a coppie: lascia che il modello di valutazione confronti le risposte di due modelli e scelga la migliore. Questo viene spesso utilizzato per confrontare un modello candidato con il modello di riferimento. Le metriche tra coppie sono supportate solo con Gemini come modello di valutazione.

• Metriche basate sui calcoli: queste metriche vengono calcolate utilizzando formule matematiche per confrontare l'output del modello con un dato di fatto o di riferimento. Le metriche basate su calcoli più comunemente utilizzate includono ROUGE e BLEU.

Puoi utilizzare le metriche basate sui calcoli in modo autonomo o insieme alle metriche basate su modelli. Utilizza la tabella seguente per decidere quando utilizzare le metriche basate su modelli o su calcoli:

Per iniziare, consulta Preparare il set di dati e Eseguire la valutazione.

Definisci le metriche basate su modello

La valutazione basata su modelli prevede l'utilizzo di un modello di machine learning come modello di valutazione per valutare gli output del modello candidato.

I modelli di valutazione proprietari di Google, come Gemini, vengono calibrati con valutatori umani per garantirne la qualità. Sono gestiti e disponibili fin dalla prima accensione. La procedura di valutazione basata su modelli varia in base alle metriche di valutazione fornite.

La valutazione basata su modelli segue questa procedura:

1. Preparazione dei dati: fornisci i dati di valutazione sotto forma di prompt di input. I modelli candidati ricevono i prompt e generano le risposte corrispondenti.

2. Valutazione: le metriche di valutazione e le risposte generate vengono inviate al modello di valutazione. Il modello di valutazione valuta ogni risposta singolarmente, fornendo una valutazione basata sulle righe.

3. Aggregazione e spiegazione: il servizio di valutazione dell'IA generativa aggrega queste singole valutazioni in un punteggio complessivo. L'output include anche spiegazioni della catena di pensiero per ogni giudizio, che illustrano la motivazione alla base della selezione.

Il servizio di valutazione dell'IA generativa offre le seguenti opzioni per configurare le metriche basate su modelli con l'SDK Vertex AI:

Ad esempio, potresti voler sviluppare un'applicazione di AI generativa che restituisca risposte fluide e divertenti. Per questa applicazione, puoi definire due criteri di valutazione utilizzando l'interfaccia basata su modelli:

• Fluenza: le frasi scorrono senza interruzioni, evitando frasi complicate o prolisse. Le idee e le frasi sono collegate in modo logico, utilizzando le transizioni in modo efficace, se necessario.

• Intrattenimento: testo breve e divertente che include emoji, esclamazioni e domande per comunicare in modo rapido e spontaneo e per svagarsi.

Per trasformare questi due criteri in una metrica, devi avere un punteggio complessivo compreso tra -1 e 1 chiamato custom_text_quality. Puoi definire una metrica come questa:

# Define a pointwise metric with two criteria: Fluency and Entertaining.
custom_text_quality = PointwiseMetric(
    metric="custom_text_quality",
    metric_prompt_template=PointwiseMetricPromptTemplate(
        criteria={
            "fluency": (
                "Sentences flow smoothly and are easy to read, avoiding awkward"
                " phrasing or run-on sentences. Ideas and sentences connect"
                " logically, using transitions effectively where needed."
            ),
            "entertaining": (
                "Short, amusing text that incorporates emojis, exclamations and"
                " questions to convey quick and spontaneous communication and"
                " diversion."
            ),
        },
        rating_rubric={
            "1": "The response performs well on both criteria.",
            "0": "The response is somewhat aligned with both criteria",
            "-1": "The response falls short on both criteria",
        },
    ),
)

Per un elenco completo dei modelli di prompt delle metriche, consulta Modelli di prompt delle metriche per la valutazione.

Valutare i modelli di traduzione

Il servizio di valutazione dell'AI generativa offre le seguenti metriche di valutazione delle attività di traduzione:

• MetricX

• COMET

• BLEU

MetricX e COMET sono metriche basate su modelli puntuali che sono state addestrate per le attività di traduzione. Puoi valutare la qualità e l'accuratezza dei risultati del modello di traduzione per i tuoi contenuti, che si tratti di output di modelli NMT, TranslationLLM o Gemini.

Puoi anche utilizzare Gemini come modello di valutazione per valutare il tuo modello in termini di fluidità, coerenza, livello di dettaglio e qualità del testo in combinazione con MetricX, COMET o BLEU.

• MetricX è una metrica basata sugli errori sviluppata da Google che prevede un punteggio a virgola mobile compreso tra 0 e 25 che rappresenta la qualità di una traduzione. MetricX è disponibile sia come metodo basato su riferimento che senza riferimento (QE). Quando utilizzi questa metrica, un punteggio più basso è un punteggio migliore, perché indica che ci sono meno errori.

• COMET utilizza un approccio di regressione basato su riferimento che fornisce punteggi da 0 a 1, dove 1 indica una traduzione perfetta.

• BLEU (Bilingual Evaluation Understudy) è una metrica basata su calcolo. Il punteggio BLEU indica quanto il testo candidato è simile al testo di riferimento. Un valore del punteggio BLEU più vicino a 1 indica che una traduzione è più simile al testo di riferimento.

Tieni presente che i punteggi BLEU non sono consigliati per il confronto tra corpora e lingue diversi. Ad esempio, un punteggio BLEU dall'inglese al tedesco pari a 50 non è paragonabile a un punteggio BLEU dal giapponese all'inglese pari a 50. Molti esperti di traduzione hanno adottato approcci metrici basati su modelli, che hanno una correlazione più elevata con le valutazioni umane e sono più granulari nell'identificazione degli scenari di errore.

Per scoprire come eseguire valutazioni per i modelli di traduzione, consulta Valutare un modello di traduzione.

Scegli tra la valutazione punto per punto o a coppie

Utilizza la tabella seguente per decidere quando utilizzare la valutazione punto per punto o a coppie:

Metriche basate su calcolo

Le metriche basate sui calcoli confrontano se i risultati generati dall'LLM sono coerenti con un set di dati basato su dati empirici reali di coppie di input e output. Le metriche più comunemente utilizzate possono essere classificate nei seguenti gruppi:

• Metriche basate sul lessico: utilizza la matematica per calcolare le similitudini tra le stringhe tra i risultati generati dall'LLM e la verità oggettiva, ad esempio Exact Match e ROUGE.
• Metriche basate sul conteggio: aggregano il numero di righe che corrispondono o meno a determinate etichette di verità oggettive, ad esempio F1-score, Accuracy e Tool Name Match.
• Metriche basate sugli embedding: calcola la distanza tra i risultati generati dall'LLM e i dati di fatto nello spazio di embedding, riflettendo il loro livello di somiglianza.

Generazione di testi generici

Le seguenti metriche ti aiutano a valutare la capacità del modello di garantire che le risposte siano utili, sicure ed efficaci per i tuoi utenti.

Utilizzo dello strumento e chiamata di funzioni

Le seguenti metriche ti aiutano a valutare la capacità del modello di prevedere una chiamata allo strumento (funzione) valida.

Nel servizio di valutazione dell'IA generativa, puoi utilizzare metriche basate sul calcolo tramite l'SDK Vertex AI per Python.

Qualità della valutazione di riferimento per le attività generative

Quando valuti l'output dei modelli di AI generativa, tieni presente che la procedura di valutazione è intrinsecamente soggettiva e la qualità della valutazione può variare a seconda del compito specifico e dei criteri di valutazione. Questa soggettività si applica anche ai valutatori umani. Per ulteriori informazioni sulle sfide legate al raggiungimento di una valutazione coerente per i modelli di AI generativa, consulta Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena e Learning to summarize from human feedback.

Passaggi successivi

• Trova un modello di metriche basate su modelli.

• Prepara il set di dati di valutazione.

• Esegui una valutazione.

• Prova un notebook di esempio per la valutazione.