En esta página se describen las métricas de evaluación que puede usar para detectar sesgos en los datos, que pueden aparecer en los datos sin procesar y en los valores validados en el terreno incluso antes de entrenar el modelo. En los ejemplos y la notación de esta página, usamos un conjunto de datos hipotético de solicitudes de acceso a una universidad que describimos en detalle en el artículo Introducción a la evaluación de modelos para la equidad.
Para ver las descripciones de las métricas que se generan a partir de los datos posteriores al entrenamiento, consulta Métricas de sesgo del modelo.
Información general
En nuestro ejemplo de conjunto de datos de solicitudes de acceso a la universidad, tenemos 200 solicitantes de California en la porción 1 y 100 de Florida en la porción 2, etiquetadas de la siguiente manera:
| Segmento | Rechazar | Aceptar |
|---|---|---|
| California | 140 | 60 |
| Florida | 80 | 20 |
Por lo general, el signo de la mayoría de las métricas se interpreta de la siguiente manera:
Valor positivo: indica un posible sesgo a favor del segmento 1 con respecto al segmento 2.
Valor cero: indica que no hay sesgo entre la porción 1 y la porción 2.
Valor negativo: indica un posible sesgo a favor del segmento 2 frente al segmento 1.
Indicamos en qué casos no se aplica a una métrica.
Diferencia en el tamaño de la población
Diferencia en el tamaño de la población: mide si hay más ejemplos en el segmento 1 que en el segmento 2, normalizado por la población total de los dos segmentos:
(población total del segmento 1 - población total del segmento 2) / (suma de las poblaciones de los segmentos 1 y 2)
En nuestro conjunto de datos de ejemplo:
(200 solicitantes de California - 100 solicitantes de Florida)/ 300 solicitantes en total = 100/300 = 0,33.
El valor positivo de la diferencia en el tamaño de la población indica que hay desproporcionadamente más solicitantes de California que de Florida. El valor positivo puede indicar o no un sesgo por sí mismo, pero cuando se entrena un modelo con estos datos, puede que el modelo aprenda a funcionar mejor para los solicitantes de California.
Diferencia en las proporciones positivas de las etiquetas verdaderas (DPPTL)
La diferencia en las proporciones positivas de las etiquetas verdaderas mide si un conjunto de datos tiene una proporción desproporcionada de etiquetas verdaderas positivas en una porción con respecto a otra. Esta métrica calcula la diferencia entre las proporciones positivas de las etiquetas verdaderas de la porción 1 y la porción 2. La proporción positiva de las etiquetas verdaderas de una porción se calcula dividiendo los resultados positivos etiquetados entre el tamaño total de la población. Esta métrica también se conoce como Desequilibrio de etiquetas:
(Resultados positivos etiquetados de la porción 1/Tamaño total de la población de la porción 1) - (Resultados positivos etiquetados de la porción 2/Tamaño total de la población de la porción 2)
En nuestro conjunto de datos de ejemplo:
(60 solicitantes de California aceptados/200 solicitantes de California) - (20 solicitantes de Florida aceptados/100 solicitantes de Florida) = 60/200 - 20/100 = 0,1.
El valor positivo de DPPTL indica que el conjunto de datos tiene resultados positivos desproporcionadamente más altos para los solicitantes de California en comparación con los de Florida. El valor positivo puede indicar o no un sesgo por sí mismo, pero cuando se entrena un modelo con estos datos, el modelo puede aprender a predecir resultados positivos de forma desproporcionada para los solicitantes de California.
Siguientes pasos
Consulta las métricas de sesgo de los modelos compatibles con Vertex AI.
Consulta la referencia de los componentes de la canalización de evaluación de modelos.