本頁說明可用於偵測模型偏差的模型評估指標，這類偏差可能會出現在模型訓練後的模型預測輸出內容中。本頁的示例和符號使用假設的大學申請資料集，詳情請參閱「公平性模型評估簡介」。
如要瞭解從預訓練資料產生的指標，請參閱「資料偏差指標」。
總覽
在本例的大學申請資料集中，第 1 個區塊有 200 位加州申請者，第 2 個區塊則有 100 位佛羅里達州申請者。訓練模型後，我們會得到下列混淆矩陣：
| 加州申請人 | 接受率 (預測) | 拒絕 (預測) |
|---|---|---|
| 接受 (真值) | 50 (真陽性) | 10 (偽陰性) |
| 拒絕 (真值) | 20 (偽陽性) | 120 (真陰性) |
| 佛羅里達州申請人 | 接受率 (預測) | 拒絕 (預測) |
|---|---|---|
| 接受 (真值) | 20 (真陽性) | 0 (偽陰性) |
| 拒絕 (真值) | 30 (偽陽性) | 50 (真陰性) |
一般來說，您可以將大多數指標的符號解讀如下：
正值：表示系統可能偏向切片 1 而非切片 2。
值為零：表示片段 1 和片段 2 之間沒有偏差。
負值：表示系統可能偏向切片 2 而非切片 1。
我們會在指標中註明不適用的情況。
準確度差異
準確度差異會評估切片 1 和切片 2 之間的準確度差異：
((第 1 個區塊的真陽性 + 第 1 個區塊的真陰性)/第 1 個區塊的執行個體總數) - ((第 2 個區塊的真陽性 + 第 2 個區塊的真陰性)/第 2 個區塊的執行個體總數)
在範例資料集中：
((50 個正確預測的加州錄取 + 120 個正確預測的加州拒絕)/ 200 位加州申請者) - ((20 個正確預測的佛羅里達錄取 + 50 個正確預測的佛羅里達拒絕)/ 100 位佛羅里達申請者) = 170/200 - 70/100 = 0.15
準確度差異的正值表示模型對加州申請者的準確度高於佛羅里達州申請者。這可能表示系統可能偏向加州申請者。
預測標籤的正比差異 (DPPPL)
預測標籤的正比差異 (DPPPL) 會評估模型是否傾向於對某個區塊做出過多正面預測。DPPPL 會計算預測標籤中的正比率差異，其中預測標籤中的正比率是指某個區段的 (預測正面結果/總個例數)：
((第 1 個區塊的真陽性 + 第 1 個區塊的偽陽性)/第 1 個區塊的執行個體總數) - ((第 2 個區塊的真陽性 + 第 2 個區塊的偽陽性)/第 2 個區塊的執行個體總數)
針對範例資料集：
((50 個正確預測的加州錄取與 20 個錯誤預測的加州錄取)/ 200 位加州申請者) - ((20 個正確預測的佛羅里達錄取與 30 個錯誤預測的佛羅里達錄取)/ 100 位佛羅里達申請者) = 70/200 - 50/100 = -0.15
DPPPL 的負值表示模型接受佛羅里達州申請者的比例，高於加州申請者。
喚回度差異
回憶力差異會評估切片 1 和切片 2 之間的回憶力差異，只會查看標記為正面結果的資料。回想差異也稱為平等機會。
(真陽性/(真陽性 + 偽陰性)) - (真陽性/(真陽性 + 偽陰性))
在範例資料集中：
(50 個正確預測的加州接受率/(50 個正確預測的加州接受率 + 10 個錯誤預測的加州拒絕率)) - (20 個正確預測的佛羅里達州接受率/(20 個正確預測的佛羅里達州接受率 + 0 個錯誤預測的佛羅里達州拒絕率)) = 50/60 - 20/20 = -0.17
負值表示模型比起加州申請者，更能回想佛羅里達州申請者。換句話說，相較於加州申請者，模型在判定佛州申請者是否錄取時，準確度較高。
特異性差異
特異性差異會評估切片 1 和切片 2 之間的特異性差異，也稱為真陰性率。我們可以將其視為回憶差異，但針對標記為負面結果的情況：
(真陰性 (切片 1)/真陰性 (切片 1) + 偽陽性 (切片 1)) - (真陰性 (切片 2)/真陰性 (切片 2) + 偽陽性 (切片 2))
在範例資料集中：
(120 個正確預測的加州拒絕結果/(120 個正確預測的加州拒絕結果 + 20 個錯誤預測的加州接受結果)) - (50 個正確預測的佛羅里達州拒絕結果/(50 個正確預測的佛羅里達州拒絕結果 + 30 個錯誤預測的佛羅里達州接受結果)) = 120/140- 50/80 = 0.23
正值表示在申請遭拒的情況下，模型對加州申請者的喚回率高於佛州申請者。換句話說，相較於佛羅里達州的申請者，模型對於加州申請者的拒絕決定往往更準確。
錯誤類型比率的差異
錯誤類型比率的差異會評估錯誤 (偽陰性和偽陽性) 在切片 1 和 2 之間分布的差異。錯誤類型的比率計算方式為 (偽陰性 (類型 I 錯誤)/偽陽性 (類型 II 錯誤))。錯誤類型比率的差異也稱為處理平等。
(第 1 個區塊的偽陰性/第 1 個區塊的偽陽性) - (第 2 個區塊的偽陰性/第 2 個區塊的偽陽性)
在範例資料集中：
(10 個預測錯誤的加州拒絕/20 個預測錯誤的加州接受) - (0 個預測錯誤的佛羅里達州拒絕/30 個預測錯誤的佛羅里達州接受) = (10/20 - 0/30) = 0.5
雖然模型對加州和佛羅里達州的申請者都產生 30 個錯誤，但「錯誤類型比率差異」的正值表示，相較於佛羅里達州的申請者，模型傾向於對加州申請者過度預測正面結果 (偽陽率較高)，因此對負面結果 (偽陰性錯誤) 的預測偏低。
錯誤類型比率差異的符號通常可解讀為：
正值：表示模型在第 1 個區塊中產生的偽陽性錯誤比偽陰性錯誤多。
零值：表示模型在兩個區塊中產生相同數量的偽陽性錯誤。
負值：表示模型在第 2 個區塊中產生的偽陽性錯誤比偽陰性錯誤多得多。
這個指標的符號不一定表示模型有偏差，因為偽陰性或偽陽性的危害程度取決於模型的應用方式。
後續步驟
請參閱模型評估管道元件參考資料。
如要進一步瞭解公平性指標，請參閱機器學習偏誤和公平性調查。