Introducción a la evaluación de modelos para equidad

Un flujo de trabajo de aprendizaje automático puede incluir la evaluación de la equidad de tu modelo. Un modelo injusto muestra un sesgo sistémico que puede causar daño, especialmente a los grupos tradicionalmente subrepresentados. Un modelo injusto puede tener un rendimiento inferior para ciertos subconjuntos o segmentos del conjunto de datos.

Puedes detectar sesgos durante el proceso de recopilación de datos o la evaluación posterior al entrenamiento. Vertex AI proporciona las siguientes métricas de evaluación del modelo para ayudarte a evaluar si tu modelo tiene sesgos:

  • Métricas de sesgo de datos: Antes de entrenar y compilar tu modelo, estas métricas detectan si tus datos sin procesar incluyen sesgos. Por ejemplo, un conjunto de datos de detección de sonrisas puede contener muchas menos personas mayores que jóvenes. Varias de estas métricas se basan en la cuantificación de la distancia entre la distribución de etiquetas para diferentes grupos de datos:

    • Diferencia en el tamaño de la población

    • Es la diferencia en las proporciones positivas en las etiquetas verdaderas.

  • Métricas de sesgo del modelo: Después de entrenar tu modelo, estas métricas detectan si las predicciones del modelo incluyen sesgos. Por ejemplo, un modelo puede ser más preciso para un subconjunto de los datos que para el resto:

    • Diferencia de precisión.

    • Diferencia en las proporciones positivas en las etiquetas predichas.

    • Diferencia de recuperación.

    • Diferencia de especificidad.

    • Es la diferencia en la proporción de tipos de errores.

Para obtener información sobre cómo incluir los componentes de la canalización de sesgo de evaluación del modelo en la ejecución de tu canalización, consulta Componente de evaluación del modelo.

Descripción general del conjunto de datos de ejemplo

En todos los ejemplos relacionados con las métricas de equidad, usamos un conjunto de datos hipotético de admisión a la universidad con características como las calificaciones de la escuela secundaria, el estado y la identidad de género de un solicitante. Queremos medir si la universidad tiene un sesgo hacia los solicitantes de California o Florida.

Las etiquetas de destino, o todos los resultados posibles, son los siguientes:

  • Acepta al solicitante con beca (p).

  • Aceptar al solicitante sin una beca (q)

  • Rechazar al solicitante (r)

Podemos suponer que los expertos en admisión proporcionaron estas etiquetas como la verdad fundamental. Ten en cuenta que incluso estas etiquetas de expertos pueden estar sesgadas, ya que fueron asignadas por personas.

Para crear un ejemplo de clasificación binaria, podemos agrupar etiquetas para crear dos resultados posibles:

  • Resultado positivo, que se denota como 1. Podemos agrupar p y q en el resultado positivo de "{p,q} aceptado".

  • Resultado negativo, que se denota como 0. Puede ser una colección de todos los demás resultados, además del resultado positivo. En nuestro ejemplo de solicitud de ingreso a la universidad, el resultado negativo es "rechazado {r}".

Para medir el sesgo entre los solicitantes de California y Florida, separamos dos porciones del resto del conjunto de datos:

  • Es la primera segmentación del conjunto de datos para el que se mide el sesgo. En el ejemplo de solicitud de universidad, medimos el sesgo para los solicitantes de California.

  • Es la segunda segmentación del conjunto de datos con la que se mide el sesgo. Slice 2 puede incluir "todo lo que no está en la porción 1" de forma predeterminada, pero, para el ejemplo de solicitud de universidad, asignamos la porción 2 como solicitantes de Florida.

En nuestro conjunto de datos de solicitud de universidad de ejemplo, tenemos 200 empleados de California en la porción 1 y 100 empleados de Florida en la porción 2. Después de entrenar el modelo, obtuvimos las siguientes matrices de confusión:

Solicitantes de California Aceptaciones (previstas) Rechazos (previstos)
Aceptaciones (verdad fundamental) 50 (verdaderos positivos) 10 (falsos negativos)
Rechazos (verdad fundamental) 20 (falsos positivos) 120 (verdaderos negativos)
Solicitantes de Florida Aceptaciones (previstas) Rechazos (previstos)
Aceptaciones (verdad fundamental) 20 (verdaderos positivos) 0 (falsos negativos)
Rechazos (verdad fundamental) 30 (falsos positivos) 50 (verdaderos negativos)

Al comparar las métricas entre las dos matrices de confusión, podemos medir los sesgos respondiendo preguntas como "¿El modelo tiene una mejor recuperación para un segmento que para el otro?".

También usamos la siguiente abreviatura para representar los datos de verdad fundamental etiquetados, en la que i representa el número de segmento (1 o 2):

\( l^0_i = tn_i + fp_i \)
Para la porción i, la cantidad de resultados negativos etiquetados = verdaderos negativos + falsos positivos.

\( l^1_i = fn_i + tp_i \)
Para la división i, la cantidad de resultados positivos etiquetados = falsos negativos + verdaderos positivos.

Ten en cuenta lo siguiente sobre el ejemplo del conjunto de datos de solicitudes universitarias:

  • Algunas métricas de equidad también se pueden generalizar para múltiples resultados, pero usamos la clasificación binaria para simplificar.

  • El ejemplo se enfoca en la tarea de clasificación, pero algunas métricas de equidad se generalizan a otros problemas, como la regresión.

  • En este ejemplo, suponemos que los datos de entrenamiento y los datos de prueba son los mismos.

¿Qué sigue?