En esta página, se describen las métricas de evaluación del modelo que puedes usar para detectar el sesgo del modelo, que puede aparecer en el resultado de la predicción del modelo después de entrenarlo. Para los ejemplos y la notación de esta página, usamos un conjunto de datos hipotético de aplicación universitaria que se describe en detalle en Introducción a la evaluación de modelos para la equidad.
Para obtener descripciones de las métricas que se generan a partir de datos previos al entrenamiento, consulta Métricas de sesgo de datos.
Descripción general
En nuestro conjunto de datos de solicitud de universidad de ejemplo, tenemos 200 empleados de California en la porción 1 y 100 empleados de Florida en la porción 2. Después de entrenar el modelo, tenemos las siguientes matrices de confusión:
| Solicitantes de California | Aceptaciones (previstas) | Rechazos (previstos) |
|---|---|---|
| Aceptaciones (verdad fundamental) | 50 (verdadero positivo) | 10 (falso negativo) |
| Rechazos (verdad fundamental) | 20 (falso positivo) | 120 (verdadero negativo) |
| Solicitantes de Florida | Aceptaciones (previstas) | Rechazos (previstos) |
|---|---|---|
| Aceptaciones (verdad fundamental) | 20 (verdadero positivo) | 0 (falso negativo) |
| Rechazos (verdad fundamental) | 30 (falso positivo) | 50 (verdadero negativo) |
En general, puedes interpretar el signo de la mayoría de las métricas de la siguiente manera:
Valor positivo: indica un posible sesgo que favorece la porción 1 sobre la porción 2.
Valor cero: Indica que no hay sesgo entre la porción 1 y la porción 2.
Valor negativo: indica un posible sesgo a favor de la porción 2 sobre la porción 1.
Tomamos nota de los casos en los que esto no se aplica a una métrica.
Diferencia de precisión
La diferencia de precisión mide la diferencia en la precisión entre la porción 1 y la porción 2:
((Verdaderos positivos para la porción 1 + Verdaderos negativos para la porción 1)/Cantidad total de instancias para la porción 1) - ((Verdaderos positivos para la porción 2 + Verdaderos negativos para la porción 2)/Cantidad total de instancias para la porción 2)
En nuestro conjunto de datos de ejemplo:
((50 predicciones correctas en California + 120 receptores previstos correctamente en California)/ 200 aplicadores de California previstos de forma correcta - (20 aceptaciones correctas de Florida + 50 rechazos de Florida correctamente)/100 aplicadores de Florida = 170/200 - 70/100 = 0.15
El valor positivo de la diferencia de precisión indica que el modelo es más preciso para los postulantes de California en comparación con los de Florida. Esto podría indicar un posible sesgo a favor de los postulantes de California.
Diferencia en proporciones positivas en etiquetas previstas (DPPPL)
La diferencia en proporciones positivas en etiquetas previstas (DPPPL) mide si el modelo tiene una tendencia a realizar predicciones más positivas de manera desproporcionada para una porción sobre la otra. DPPPL calcula la diferencia en las proporciones positivas en las etiquetas previstas, en la que las proporciones positivas en las etiquetas previstas es (resultados positivos previstos/cantidad total de instancias) para una porción:
((Verdaderos positivos para la porción 1 + Falsos positivos para la porción 1)/Cantidad total de instancias para la porción 1:/(Verdaderos positivos para la porción 2 + Falsos positivos para la porción 2)/Cantidad total de instancias para la porción 2
En nuestro conjunto de datos de ejemplo:
((50 predicciones correctas en California + 20 predicciones incorrectas en California)/ 200 solicitantes de California) - ((20 aceptaciones correctas de Florida + 30 aceptaciones incorrectas de Florida)/ 100 solicitantes de Florida) = 70/200 - 50/100 = -0.15
El valor negativo del DPPPL indica que el modelo acepta de manera desproporcionada más postulantes de Florida en comparación con los de California.
Diferencia de recuperación
La diferencia de recuperación mide la diferencia en la recuperación entre la porción 1 y la porción 2, y solo se analizan los resultados positivos etiquetados. Recuerda que la diferencia también se puede llamar Igualdad de oportunidades.
(Verdaderos positivos para la porción 1/(Verdaderos positivos para la porción 1) (Falsos positivos para la porción 1) (Falsos positivos para la porción 2) (Verdaderos positivos para la porción 2 + Falsos negativos para la porción 2)
En nuestro conjunto de datos de ejemplo:
(50 aceptaciones de California previstas correctamente/(50 aceptaciones de California previstas correctamente + 10 rechazos de California previstos incorrectamente)) - (20 aceptaciones de Florida previstas correctamente/(20 aceptaciones de Florida previstas correctamente + 0 rechazos de Florida previstos incorrectamente)) = 50/60 - 20/20 = -0.17
El valor negativo indica que el modelo recuerda mejor a los postulantes de Florida que a los de California. En otras palabras, el modelo tiende a ser más preciso en sus decisiones de aceptación para los postulantes de Florida en comparación con los de California.
Diferencia de especificidad
La diferencia de especificidad mide la diferencia en la especificidad, también conocida como la tasa de verdaderos negativos, entre el corte 1 y el corte 2. Podemos considerarlo como la diferencia de recuperación, pero para los resultados negativos etiquetados:
(Verdaderos negativos para la porción 1/(Verdaderos negativos para la porción 1 + Falsos positivos para la porción 1) (Verdaderos negativos para la porción 2) (Verdaderos negativos para la porción 2 + Falsos positivos para la porción 2)
En nuestro conjunto de datos de ejemplo:
(120 rechazos previstos correctamente en California/(120 rechazos previstos correctamente en California + 20 aceptaciones previstas incorrectamente en California)) - (50 rechazos previstos correctamente en Florida/(50 rechazos previstos correctamente en Florida + 30 aceptaciones previstas incorrectamente en Florida)) = 120/140- 50/80 = 0.23
El valor positivo indica que, en el caso de los rechazos de solicitudes, el modelo tiene una mejor recuperación para los postulantes de California en comparación con los de Florida. En otras palabras, el modelo tiende a ser más correcto en sus decisiones de rechazo para los postulantes de California en comparación con los de Florida.
Diferencia en la proporción de tipos de errores
La diferencia en la proporción de tipos de errores mide la diferencia en la forma en que los errores (falsos negativos y falsos positivos) se distribuyen entre la porción 1 y la 2. La proporción de tipo de error se calcula como (falsos negativos (error de tipo I)/falsos positivos (error de tipo II)). La diferencia en la proporción de tipos de errores también se puede denominar igualdad de tratamiento.
(Falsos negativos para la porción 1/Falsos positivos para la porción 1) - (Falsos negativos para la porción 2/Falsos positivos para la porción 2)
En nuestro conjunto de datos de ejemplo:
(10 rechazos previstos incorrectamente en California/20 aceptaciones previstas incorrectamente en California) - (0 rechazos previstos incorrectamente en Florida/30 aceptaciones previstas incorrectamente en Florida) = (10/20 - 0/30) = 0.5
Aunque el modelo comete 30 errores en los solicitantes de California y Florida, el valor positivo para la diferencia en la proporción de tipos de errores indica que el modelo tiende a predecir demasiado los resultados positivos (mayores falsos positivos) y, por lo tanto, predicen resultados negativos (errores falsos negativos más bajos) para los solicitantes de California, en comparación con los solicitantes de Florida.
El signo de la diferencia en la proporción de tipos de errores se puede interpretar de la siguiente manera:
Valor positivo: indica que el modelo realiza errores de manera desproporcionada más falsos positivos que los errores negativos falsos para la porción 1.
Valor cero: Indica que el modelo comete la misma cantidad de errores de falsos positivos para ambas porciones.
Valor negativo: indica que el modelo realiza errores de manera desproporcionada más falsos positivos que los errores negativos falsos para la porción 2.
El signo de esta métrica no indica necesariamente un sesgo en el modelo, ya que el daño de los falsos negativos o los falsos positivos depende de la aplicación de tu modelo.
¿Qué sigue?
Lee la referencia del componente de canalización de evaluación del modelo.
Obtén más información sobre las métricas de equidad en A Survey on Bias and Fairness in Machine Learning.