Per le metriche basate sul modello, Gen AI evaluation service valuta i tuoi modelli con un modello di base, come Gemini, configurato e richiesto come modello giudice. Se vuoi saperne di più sul modello di valutazione, la serie di articoli sulla personalizzazione avanzata del modello di valutazione descrive strumenti aggiuntivi che puoi utilizzare per valutare e configurare il modello di valutazione.
Per il flusso di lavoro di valutazione di base, consulta la guida rapida di Gen AI evaluation service. La serie di personalizzazione avanzata del modello di valutazione include le seguenti pagine:
- Valutare un modello giudice (pagina attuale)
- Richiesta di personalizzazione del modello di valutazione
- Configurare un modello di giudice
Panoramica
L'utilizzo di valutatori umani per valutare i modelli linguistici di grandi dimensioni (LLM) può essere costoso e richiedere molto tempo. L'utilizzo di un modello di valutazione è un modo più scalabile per valutare gli LLM. Il servizio di valutazione dell'AI generativa utilizza per impostazione predefinita un modello Gemini 2.0 Flash configurato come modello di valutazione, con prompt personalizzabili per valutare il tuo modello per vari casi d'uso.
Le sezioni seguenti mostrano come valutare un modello di giudice personalizzato per il tuo caso d'uso ideale.
Prepara il set di dati
Per valutare le metriche basate su modelli, prepara un set di dati di valutazione con le valutazioni umane come dati di fatto. L'obiettivo è confrontare i punteggi delle metriche basate su modelli con le valutazioni umane e verificare se le metriche basate su modelli hanno la qualità ideale per il tuo caso d'uso.
Per
PointwiseMetric
, prepara la colonna{metric_name}/human_rating
nel set di dati come dati empirici reali per il risultato{metric_name}/score
generato dalle metriche basate sul modello.Per
PairwiseMetric
, prepara la colonna{metric_name}/human_pairwise_choice
nel set di dati come dati empirici reali per il risultato{metric_name}/pairwise_choice
generato dalle metriche basate sul modello.
Utilizza il seguente schema del set di dati:
Metrica basata su modello | Colonna Valutazione umana |
---|---|
PointwiseMetric |
{metric_name}/human_rating |
PairwiseMetric |
{metric_name}/human_pairwise_choice |
Metriche disponibili
Per un PointwiseMetric
che restituisce solo 2 punteggi (ad esempio 0 e 1) e un PairwiseMetric
che ha solo 2 tipi di preferenze (Modello A o Modello B), sono disponibili le seguenti metriche:
Metrica | Calcolo |
---|---|
Accuratezza bilanciata a 2 classi | \( (1/2)*(True Positive Rate + True Negative Rate) \) |
Punteggio F1 bilanciato a 2 classi | \( ∑_{i=0,1} (cnt_i/sum) * f1(class_i) \) |
Matrice di confusione | Utilizza i campi confusion_matrix e confusion_matrix_labels per calcolare metriche come il tasso di veri positivi (TPR), il tasso di veri negativi (TNR), il tasso di falsi positivi (FPR) e il tasso di falsi negativi (FNR). Ad esempio, il seguente risultato: confusion_matrix = [[20, 31, 15], [10, 11, 3], [ 3, 2, 2]] confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE'] BASELINE | CANDIDATE | TIE BASELINE. 20 31 15 CANDIDATE. 10 11 3 TIE. 3 2 2 | |
Per un PointwiseMetric
che restituisce più di due punteggi (ad esempio da 1 a 5) e un PairwiseMetric
che ha più di due tipi di preferenze (Modello A, Modello B o Pareggio), sono disponibili le seguenti metriche:
Metrica | Calcolo |
---|---|
Accuratezza bilanciata multiclasse | \( (1/n) *∑_{i=1...n}(recall(class_i)) \) |
Punteggio F1 bilanciato multiclasse | \( ∑_{i=1...n} (cnt_i/sum) * f1(class_i) \) |
Dove:
\( f1 = 2 * precision * recall / (precision + recall) \)
\( precision = True Positives / (True Positives + False Positives) \)
\( recall = True Positives / (True Positives + False Negatives) \)
\( n \) : numero di lezioni
\( cnt_i \) : numero di \( class_i \) nei dati di riferimento
\( sum \): numero di elementi nei dati di riferimento
Per calcolare altre metriche, puoi utilizzare librerie open source.
Valuta la metrica basata sul modello
L'esempio seguente aggiorna la metrica basata sul modello con una definizione personalizzata di fluidità, quindi valuta la qualità della metrica.
from vertexai.preview.evaluation import {
AutoraterConfig,
PairwiseMetric,
}
from vertexai.preview.evaluation.autorater_utils import evaluate_autorater
# Step 1: Prepare the evaluation dataset with the human rating data column.
human_rated_dataset = pd.DataFrame({
"prompt": [PROMPT_1, PROMPT_2],
"response": [RESPONSE_1, RESPONSE_2],
"baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],
"pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"]
})
# Step 2: Get the results from model-based metric
pairwise_fluency = PairwiseMetric(
metric="pairwise_fluency",
metric_prompt_template="please evaluate pairwise fluency..."
)
eval_result = EvalTask(
dataset=human_rated_dataset,
metrics=[pairwise_fluency],
).evaluate()
# Step 3: Calibrate model-based metric result and human preferences.
# eval_result contains human evaluation result from human_rated_dataset.
evaluate_autorater_result = evaluate_autorater(
evaluate_autorater_input=eval_result.metrics_table,
eval_metrics=[pairwise_fluency]
)