Questa pagina descrive le metriche di valutazione del modello che puoi utilizzare per rilevare il bias del modello, che può essere visualizzato nell'output di previsione del modello dopo l'addestramento. Per gli esempi e la notazione in questa pagina, utilizziamo un set di dati ipotetico per la domanda di ammissione al college, che descriviamo in dettaglio in Introduzione alla valutazione del modello per l'equità.
Per le descrizioni delle metriche generate dai dati di pre-addestramento, vedi Metriche sul bias dei dati.
Panoramica
Nel nostro set di dati di esempio per le domande di ammissione all'università, abbiamo 200 candidati provenienti dalla California nella sezione 1 e 100 candidati della Florida nella sezione 2. Dopo l'addestramento del modello, abbiamo le seguenti matrici di confusione:
| Candidati in California | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati di fatto) | 50 (vero positivo) | 10 (falso negativo) |
| Rifiuti (dati di fatto) | 20 (falso positivo) | 120 (vero negativo) |
| Candidati della Florida | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati di fatto) | 20 (vero positivo) | 0 (falso negativo) |
| Rifiuti (dati di fatto) | 30 (falso positivo) | 50 (vero negativo) |
In genere, puoi interpretare il segno per la maggior parte delle metriche nel seguente modo:
Valore positivo: indica un potenziale bias a favore della sezione 1 rispetto alla sezione 2.
Valore zero: indica che non esiste distorsione tra la fetta 1 e la fetta 2.
Valore negativo: indica un potenziale bias a favore della sezione 2 rispetto alla sezione 1.
Indichiamo quando ciò non si applica a una metrica.
Differenza di accuratezza
La differenza di accuratezza misura la differenza di accuratezza tra la sezione 1 e la sezione 2:
((Veri positivi per la sezione 1 + Veri negativi per la sezione 1)/Numero totale di istanze per la sezione 1) - ((Veri positivi per la sezione 2 + Veri negativi per la sezione 2)/Numero totale di istanze per la sezione 2)
Nel nostro set di dati di esempio:
((50 accettazioni previste correttamente in California + 120 rifiuti previsti correttamente in California)/ 200 candidati in California) - ((20 accettazioni previste correttamente in Florida + 50 rifiuti previsti correttamente in Florida)/ 100 candidati in Florida) = 170/200 - 70/100 = 0,15
Il valore positivo della differenza di accuratezza indica che il modello è più accurato per i candidati della California rispetto a quelli della Florida. Ciò potrebbe indicare un potenziale bias a favore dei candidati della California.
Differenza nelle proporzioni positive nelle etichette previste (DPPPL)
La differenza nelle proporzioni positive nelle etichette previste (DPPPL) misura se il modello tende a fare previsioni positive in modo sproporzionato per una sezione rispetto all'altra. DPPPL calcola la differenza nelle proporzioni positive nelle etichette previste, dove le proporzioni positive nelle etichette previste sono (risultati positivi previsti/numero totale di istanze) per una sezione:
((Veri positivi per la sezione 1 + Falsi positivi per la sezione 1)/Numero totale di istanze per la sezione 1) - ((Veri positivi per la sezione 2 + Falsi positivi per la sezione 2)/Numero totale di istanze per la sezione 2)
Per il nostro set di dati di esempio:
((50 accettazioni in California previste correttamente + 20 accettazioni in California previste in modo errato)/ 200 candidati in California) - ((20 accettazioni in Florida previste correttamente + 30 accettazioni in Florida previste in modo errato)/ 100 candidati in Florida) = 70/200 - 50/100 = -0,15
Il valore negativo di DPPPL indica che il modello accetta in modo sproporzionato più candidati della Florida rispetto a quelli della California.
Differenza di richiamo
La differenza di richiamo misura la differenza di richiamo tra la sezione 1 e la sezione 2, considerando solo i risultati positivi etichettati. La differenza di richiamo può anche essere chiamata Pari opportunità.
(Veri positivi per la sezione 1/(Veri positivi per la sezione 1 + Falsi negativi per la sezione 1)) - (Veri positivi per la sezione 2/(Veri positivi per la sezione 2 + Falsi negativi per la sezione 2))
Nel nostro set di dati di esempio:
(50 accettazioni previste correttamente in California/(50 accettazioni previste correttamente in California + 10 rifiuti previsti in modo errato in California)) - (20 accettazioni previste correttamente in Florida/(20 accettazioni previste correttamente in Florida + 0 rifiuti previsti in modo errato in Florida)) = 50/60 - 20/20 = -0,17
Il valore negativo indica che il modello è più efficace nel richiamare i candidati della Florida rispetto a quelli della California. In altre parole, il modello tende a essere più preciso nelle decisioni di accettazione per i candidati della Florida rispetto a quelli della California.
Differenza di specificità
La differenza di specificità misura la differenza di specificità, nota anche come tasso di veri negativi, tra la sezione 1 e la sezione 2. Possiamo considerarlo come la differenza di richiamo, ma per i risultati negativi etichettati:
(Veri negativi per la sezione 1/(Veri negativi per la sezione 1 + Falsi positivi per la sezione 1)) - (Veri negativi per la sezione 2/(Veri negativi per la sezione 2 + Falsi positivi per la sezione 2))
Nel nostro set di dati di esempio:
(120 rifiuti previsti correttamente in California/(120 rifiuti previsti correttamente in California + 20 accettazioni previste in modo errato in California)) - (50 rifiuti previsti correttamente in Florida/(50 rifiuti previsti correttamente in Florida + 30 accettazioni previste in modo errato in Florida)) = 120/140 - 50/80 = 0,23
Il valore positivo indica che, per i rifiuti delle richieste, il modello ha un richiamo migliore per i candidati della California rispetto a quelli della Florida. In altre parole, il modello tende a essere più corretto nelle sue decisioni di rifiuto per i candidati della California rispetto a quelli della Florida.
Differenza nel rapporto tra i tipi di errori
La differenza nel rapporto tra i tipi di errore misura la differenza nella distribuzione degli errori (falsi negativi e falsi positivi) tra la sezione 1 e la sezione 2. Il rapporto tra i tipi di errore viene calcolato come (falsi negativi (errore di tipo I)/falsi positivi (errore di tipo II)). La differenza nel rapporto tra i tipi di errore può anche essere chiamata Parità di trattamento.
(Falsi negativi per la sezione 1/Falsi positivi per la sezione 1) - (Falsi negativi per la sezione 2/Falsi positivi per la sezione 2)
Nel nostro set di dati di esempio:
(10 rifiuti previsti in modo errato in California/20 accettazioni previste in modo errato in California) - (0 rifiuti previsti in modo errato in Florida/30 accettazioni previste in modo errato in Florida) = (10/20 - 0/30) = 0,5
Anche se il modello commette 30 errori per i candidati della California e della Florida, il valore positivo per la differenza nel rapporto tra i tipi di errore indica che il modello tende a prevedere in modo eccessivo risultati positivi (falsi positivi più elevati) e quindi a prevedere in modo insufficiente risultati negativi (falsi negativi più bassi) per i candidati della California, rispetto a quelli della Florida.
Il segno della differenza nel rapporto tra i tipi di errore può essere interpretato generalmente come:
Valore positivo: indica che il modello commette un numero sproporzionato di errori di falsi positivi rispetto a quelli di falsi negativi per la sezione 1.
Valore zero: indica che il modello commette la stessa quantità di errori di falsi positivi per entrambe le sezioni.
Valore negativo: indica che il modello commette un numero sproporzionato di errori di falsi positivi rispetto a quelli di falsi negativi per la sezione 2.
Il segno di questa metrica non indica necessariamente un bias nel modello, perché la pericolosità dei falsi negativi o dei falsi positivi dipende dall'applicazione del modello.
Passaggi successivi
Leggi il riferimento al componente della pipeline di valutazione del modello.
Scopri di più sulle metriche di equità in A Survey on Bias and Fairness in Machine Learning.