Valutare un modello di giudice

Per le metriche basate sul modello, Gen AI evaluation service valuta i tuoi modelli con un modello di base, come Gemini, configurato e richiesto come modello giudice. Se vuoi saperne di più sul modello di valutazione, la serie di articoli sulla personalizzazione avanzata del modello di valutazione descrive strumenti aggiuntivi che puoi utilizzare per valutare e configurare il modello di valutazione.

Per il flusso di lavoro di valutazione di base, consulta la guida rapida di Gen AI evaluation service. La serie di personalizzazione avanzata del modello di valutazione include le seguenti pagine:

1. Valutare un modello giudice (pagina attuale)
2. Richiesta di personalizzazione del modello di valutazione
3. Configurare un modello di giudice

Panoramica

L'utilizzo di valutatori umani per valutare i modelli linguistici di grandi dimensioni (LLM) può essere costoso e richiedere molto tempo. L'utilizzo di un modello di valutazione è un modo più scalabile per valutare gli LLM. Il servizio di valutazione dell'AI generativa utilizza per impostazione predefinita un modello Gemini 2.0 Flash configurato come modello di valutazione, con prompt personalizzabili per valutare il tuo modello per vari casi d'uso.

Le sezioni seguenti mostrano come valutare un modello di giudice personalizzato per il tuo caso d'uso ideale.

Prepara il set di dati

Per valutare le metriche basate su modelli, prepara un set di dati di valutazione con le valutazioni umane come dati di fatto. L'obiettivo è confrontare i punteggi delle metriche basate su modelli con le valutazioni umane e verificare se le metriche basate su modelli hanno la qualità ideale per il tuo caso d'uso.

• Per PointwiseMetric, prepara la colonna {metric_name}/human_rating nel set di dati come dati empirici reali per il risultato {metric_name}/score generato dalle metriche basate sul modello.

• Per PairwiseMetric, prepara la colonna {metric_name}/human_pairwise_choice nel set di dati come dati empirici reali per il risultato {metric_name}/pairwise_choice generato dalle metriche basate sul modello.

Utilizza il seguente schema del set di dati:

Metriche disponibili

Per un PointwiseMetric che restituisce solo 2 punteggi (ad esempio 0 e 1) e un PairwiseMetric che ha solo 2 tipi di preferenze (Modello A o Modello B), sono disponibili le seguenti metriche:

confusion_matrix = [[20, 31, 15],
    [10, 11,  3],
   [ 3,  2,  2]]
confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']

             BASELINE |  CANDIDATE | TIE
   BASELINE.    20         31        15
   CANDIDATE.   10         11         3
   TIE.         3           2         2 |

Per un PointwiseMetric che restituisce più di due punteggi (ad esempio da 1 a 5) e un PairwiseMetric che ha più di due tipi di preferenze (Modello A, Modello B o Pareggio), sono disponibili le seguenti metriche:

Dove:

• \( f1 = 2 * precision * recall / (precision + recall) \)

  • \( precision = True Positives / (True Positives + False Positives) \)

  • \( recall = True Positives / (True Positives + False Negatives) \)

• \( n \) : numero di lezioni

• \( cnt_i \) : numero di \( class_i \) nei dati di riferimento

• \( sum \): numero di elementi nei dati di riferimento

Per calcolare altre metriche, puoi utilizzare librerie open source.

Valuta la metrica basata sul modello

L'esempio seguente aggiorna la metrica basata sul modello con una definizione personalizzata di fluidità, quindi valuta la qualità della metrica.

from vertexai.preview.evaluation import {
   AutoraterConfig,
   PairwiseMetric,
}
from vertexai.preview.evaluation.autorater_utils import evaluate_autorater


# Step 1: Prepare the evaluation dataset with the human rating data column.
human_rated_dataset = pd.DataFrame({
  "prompt": [PROMPT_1, PROMPT_2],
    "response": [RESPONSE_1, RESPONSE_2],
  "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],
    "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"]
})

# Step 2: Get the results from model-based metric
pairwise_fluency = PairwiseMetric(
    metric="pairwise_fluency",
    metric_prompt_template="please evaluate pairwise fluency..."
)

eval_result = EvalTask(
    dataset=human_rated_dataset,
    metrics=[pairwise_fluency],
).evaluate()

# Step 3: Calibrate model-based metric result and human preferences.
# eval_result contains human evaluation result from human_rated_dataset.
evaluate_autorater_result = evaluate_autorater(
  evaluate_autorater_input=eval_result.metrics_table,
  eval_metrics=[pairwise_fluency]
)

Passaggi successivi

• Richiesta di personalizzazione del modello di valutazione
• Configura il modello di giudice