Évaluer un modèle d'évaluation

Pour les métriques basées sur un modèle, le service d'évaluation de l'IA générative évalue vos modèles avec un modèle de fondation, tel que Gemini, qui a été configuré et invité en tant que modèle d'évaluation. Si vous souhaitez en savoir plus sur le modèle de juge, la série sur la personnalisation avancée du modèle de juge décrit d'autres outils que vous pouvez utiliser pour évaluer et configurer le modèle de juge.

Pour le workflow d'évaluation de base, consultez le guide de démarrage rapide de Gen AI Evaluation Service. La série sur la personnalisation avancée des modèles de juges comprend les pages suivantes :

1. Évaluer un modèle de juge (page actuelle)
2. Personnalisation du modèle de juge à l'aide de requêtes
3. Configurer un modèle de juge

Présentation

L'utilisation de juges humains pour évaluer les grands modèles de langage (LLM) peut être coûteuse et prendre du temps. L'utilisation d'un modèle de jugement est une méthode plus évolutive pour évaluer les LLM. Par défaut, le service d'évaluation de l'IA générative utilise un modèle Gemini 2.0 Flash configuré comme modèle d'évaluation, avec des requêtes personnalisables pour évaluer votre modèle pour différents cas d'utilisation.

Les sections suivantes expliquent comment évaluer un modèle de juge personnalisé pour votre cas d'utilisation idéal.

Préparer l'ensemble de données

Pour évaluer les métriques basées sur un modèle, préparez un ensemble de données d'évaluation avec des évaluations humaines comme vérité terrain. L'objectif est de comparer les scores des métriques basées sur des modèles avec les évaluations humaines et de déterminer si les métriques basées sur des modèles présentent la qualité idéale pour votre cas d'utilisation.

• Pour PointwiseMetric, préparez la colonne {metric_name}/human_rating de l'ensemble de données comme vérité terrain pour le résultat {metric_name}/score généré par les métriques basées sur le modèle.

• Pour PairwiseMetric, préparez la colonne {metric_name}/human_pairwise_choice de l'ensemble de données comme vérité terrain pour le résultat {metric_name}/pairwise_choice généré par les métriques basées sur le modèle.

Utilisez le schéma d'ensemble de données suivant :

Métriques disponibles

Pour un PointwiseMetric qui ne renvoie que deux scores (0 et 1, par exemple) et un PairwiseMetric qui ne comporte que deux types de préférences (modèle A ou modèle B), les métriques suivantes sont disponibles :

confusion_matrix = [[20, 31, 15],
    [10, 11,  3],
   [ 3,  2,  2]]
confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']

             BASELINE |  CANDIDATE | TIE
   BASELINE.    20         31        15
   CANDIDATE.   10         11         3
   TIE.         3           2         2 |

Pour un PointwiseMetric qui renvoie plus de deux scores (par exemple, de 1 à 5) et un PairwiseMetric qui comporte plus de deux types de préférences (modèle A, modèle B ou égalité), les métriques suivantes sont disponibles :

Où :

• \( f1 = 2 * precision * recall / (precision + recall) \)

  • \( precision = True Positives / (True Positives + False Positives) \)

  • \( recall = True Positives / (True Positives + False Negatives) \)

• \( n \)  : nombre de classes

• \( cnt_i \)  : nombre de \( class_i \) dans les données de vérité terrain

• \( sum \) : nombre d'éléments dans les données de vérité terrain

Pour calculer d'autres métriques, vous pouvez utiliser des bibliothèques Open Source.

Évaluer la métrique basée sur le modèle

L'exemple suivant met à jour la métrique basée sur le modèle avec une définition personnalisée de la fluidité, puis évalue la qualité de la métrique.

from vertexai.preview.evaluation import {
   AutoraterConfig,
   PairwiseMetric,
}
from vertexai.preview.evaluation.autorater_utils import evaluate_autorater


# Step 1: Prepare the evaluation dataset with the human rating data column.
human_rated_dataset = pd.DataFrame({
  "prompt": [PROMPT_1, PROMPT_2],
    "response": [RESPONSE_1, RESPONSE_2],
  "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],
    "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"]
})

# Step 2: Get the results from model-based metric
pairwise_fluency = PairwiseMetric(
    metric="pairwise_fluency",
    metric_prompt_template="please evaluate pairwise fluency..."
)

eval_result = EvalTask(
    dataset=human_rated_dataset,
    metrics=[pairwise_fluency],
).evaluate()

# Step 3: Calibrate model-based metric result and human preferences.
# eval_result contains human evaluation result from human_rated_dataset.
evaluate_autorater_result = evaluate_autorater(
  evaluate_autorater_input=eval_result.metrics_table,
  eval_metrics=[pairwise_fluency]
)

Étapes suivantes

• Personnalisation du modèle de juge à l'aide de requêtes
• Configurer votre modèle de juge