混同行列

毎回忘れる

この表は混同行列(Confusion Matrix)

table:confusion_matrix

予測

正 負

実際 正 TP FN

負 FP TN

TP(True Positive): 予測が正例で正解

FP(False Positive): 予測が正例で誤り (type-1 error)

FN(False Negative): 予測が負例で誤り(type-2 error)

TN(True Negative): 予測が負例で正解

True / False は実際の値に合ってるかどうか

Positive / Negative は予測の結果

TP/(TP+FN)

実際に正例のうち、どれだけ正例と予測できたか

正例をできるだけ多く補足する場合はこちらを高く

どれだけ取りこぼしなく予測できたか

難病検査見落としを減らす

TP/(TP+FP)

正例と予測したもののうち、実際に正例だった割合

正と予測したものがどれだけ正しかったか

確実に正例を補足する場合はこちらを高く

不良品捨てる

(TP+TN)/(TP+FP+FN+TN)

全体でどれだけ正しく判定できたかの割合

sklearn

プライバシーのために画像をぼかす

False Negative (顔や住所が写っているのに検出できなかった) を下げる方へ

スパムフィルター

False Positive (問題ないメールがスパム判定されてしまう) を下げる方へ

許容率が決めた後サブグループ間で比較して特定の対象にだけ正解率が低い・検出力が弱くないか確認する

データの偏りやバイアスが現れる

例えば黒人の写真だけ極端に誤判定が多いとなれば inclusive でないモデルになっている

機会均等 = サブグループ間で真陽性率が同じであるべき