Cómo evaluar un modelo de juez

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

En el caso de las métricas basadas en modelos, el servicio de evaluación de IA generativa evalúa tus modelos con un modelo fundamental, como Gemini, que se configuró y se solicitó como modelo de juez. Si quieres obtener más información sobre el modelo de juez, en la serie avanzada de personalización del modelo de juez se describen herramientas adicionales que puedes usar para evaluar y configurar el modelo de juez.

Para ver el flujo de trabajo de evaluación básico, consulta la guía de inicio rápido del servicio de evaluación de IA generativa. La serie de personalización avanzada del modelo de juez incluye las siguientes páginas:

1. Evalúa un modelo de juez (página actual)
2. Solicitud de personalización del modelo de juez
3. Configura un modelo de juez

Descripción general

El uso de jueces humanos para evaluar modelos de lenguaje grandes (LLM) puede ser costoso y llevar mucho tiempo. El uso de un modelo de juez es una forma más escalable de evaluar los LLM. El servicio de evaluación de IA generativa usa de forma predeterminada un modelo Gemini 2.0 Flash configurado como modelo de juez, con instrucciones personalizables para evaluar tu modelo en varios casos de uso.

En las siguientes secciones, se muestra cómo evaluar un modelo de juez personalizado para tu caso de uso ideal.

Prepara el conjunto de datos

Para evaluar las métricas basadas en modelos, prepara un conjunto de datos de evaluación con calificaciones humanas como verdad fundamental. El objetivo es comparar las puntuaciones de las métricas basadas en modelos con las calificaciones humanas y ver si las métricas basadas en modelos tienen la calidad ideal para tu caso de uso.

• Para PointwiseMetric, prepara la columna {metric_name}/human_rating en el conjunto de datos como la verdad fundamental para el resultado {metric_name}/score que generan las métricas basadas en modelos.

• Para PairwiseMetric, prepara la columna {metric_name}/human_pairwise_choice en el conjunto de datos como la verdad fundamental para el resultado {metric_name}/pairwise_choice que generan las métricas basadas en modelos.

Usa el siguiente esquema de conjunto de datos:

Métricas disponibles

Para un PointwiseMetric que solo muestra 2 puntuaciones (como 0 y 1) y un PairwiseMetric que solo tiene 2 tipos de preferencia (modelo A o modelo B), las siguientes métricas están disponibles:

confusion_matrix = [[20, 31, 15],
    [10, 11,  3],
   [ 3,  2,  2]]
confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']

             BASELINE |  CANDIDATE | TIE
   BASELINE.    20         31        15
   CANDIDATE.   10         11         3
   TIE.         3           2         2 |

Para un PointwiseMetric que muestra más de 2 puntuaciones (como de 1 a 5) y un PairwiseMetric que tiene más de 2 tipos de preferencia (modelo A, modelo B o empate), las siguientes métricas están disponibles:

Aquí:

• \( f1 = 2 * precision * recall / (precision + recall) \)

  • \( precision = True Positives / (True Positives + False Positives) \)

  • \( recall = True Positives / (True Positives + False Negatives) \)

• \( n \) : Cantidad de clases

• \( cnt_i \) : Cantidad de \( class_i \) en los datos de verdad fundamental

• \( sum \): Cantidad de elementos en los datos de verdad de referencia

Para calcular otras métricas, puedes usar bibliotecas de código abierto.

Evalúa la métrica basada en modelos

En el siguiente ejemplo, se actualiza la métrica basada en modelos con una definición personalizada de fluidez y, luego, se evalúa la calidad de la métrica.

from vertexai.preview.evaluation import {
   AutoraterConfig,
   PairwiseMetric,
}
from vertexai.preview.evaluation.autorater_utils import evaluate_autorater


# Step 1: Prepare the evaluation dataset with the human rating data column.
human_rated_dataset = pd.DataFrame({
  "prompt": [PROMPT_1, PROMPT_2],
    "response": [RESPONSE_1, RESPONSE_2],
  "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],
    "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"]
})

# Step 2: Get the results from model-based metric
pairwise_fluency = PairwiseMetric(
    metric="pairwise_fluency",
    metric_prompt_template="please evaluate pairwise fluency..."
)

eval_result = EvalTask(
    dataset=human_rated_dataset,
    metrics=[pairwise_fluency],
).evaluate()

# Step 3: Calibrate model-based metric result and human preferences.
# eval_result contains human evaluation result from human_rated_dataset.
evaluate_autorater_result = evaluate_autorater(
  evaluate_autorater_input=eval_result.metrics_table,
  eval_metrics=[pairwise_fluency]
)

¿Qué sigue?

• Solicitud de personalización del modelo de juez
• Configura tu modelo de juez