ROC曲線 - pogi-log

ROC曲線

ROC曲線(Receiver operating characteristic curve、受信者動作特性曲線)

横軸(x軸)に偽陽性率(FPR)、縦軸(y軸)に真陽性率(再現率、TPR)をとったグラフ

ROC曲線の下の部分はAUC(Area Under the Curve)と呼ばれる

モデルがランダムな選択よりどれだけ優れているかを示す指標

1に近いほど良いモデル

二値分類モデルの精度

陽性、陰性の2つのクラス(カテゴリ)に分けるモデル

2つに分けるものなので二値分類タスクとも呼ばれる

table: 混同行列

予測したクラス

陽性陰性

実際の陽性真陽性(TP) 偽陰性(FN)

クラス陰性偽陽性(FP) 真陰性(TN)

こういう表を混同行列と呼ぶ

真陽性(True Positive; TP)

モデルがポジティブ(陽性や正解など)と予測したものが実際にポジティブなもの

真陰性(True Negative; TN)

モデルがネガティブ(陰性や不正解など)と予測したものが実際にネガティブなもの

偽陽性(False Positive; FP, フォールスポジティブ)

モデルがポジティブと予測したものが誤っている(ネガティブ)であるもの

タイプⅠの誤り(第一種過誤)

偽陰性(False Negative; FN, フォールスネガティブ)

モデルがネガティブと予測したものが誤っている(ポジティブ)であるもの

タイプⅡの誤り(第二種過誤)

混同行列から使用される指標

あまりにもTP、TN等がどれがどこだかわからないので色付けする

$ \colorbox{#fcc}{\text{赤}} が上と下の両方に来るもの

$ \colorbox{#ccf}{紫} が下の方のみに来るもの

正解率(accuracy)

実際のクラスと同じクラスを予測した割合

$ \frac{\mathrm{TP} + \mathrm{TN}}{\mathrm{TP} + \mathrm{FN} + \mathrm{FP} + \mathrm{TN}}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & \colorbox{#fcc}{TP} & \colorbox{#ccf}{FN} \\ \text{陰性(実)} & \colorbox{#ccf}{FP} & \colorbox{#fcc}{TN} \end{array}

適合率(precision)

モデルが陽性と予測したもののうち、実際に陽性だった割合

$ \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & \colorbox{#fcc}{TP} & FN \\ \text{陰性(実)} & \colorbox{#ccf}{FP} & TN \end{array}

真陽性率(true positive fraction;TPF / true positive rate; TPR)、再現率(recall)、感度(sensitivity)

実際に陽性のものを正しく陽性と予測した割合

$ \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & \colorbox{#fcc}{TP} & \colorbox{#ccf}{FN} \\ \text{陰性(実)} & FP & TN \end{array}

真陰性率(true false fraction;TFF / true false rate; TFR)、特異度(specificity)

実際に陰性のものを正しく陰性として予測した割合

$ \frac{\mathrm{TN}}{\mathrm{TN} + \mathrm{FP}}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & TP & FN \\ \text{陰性(実)} & \colorbox{#ccf}{FP} & \colorbox{#fcc}{TN} \end{array}

偽陽性率(false positive fraction;FPF / false positive rate; FPR)

実際に陰性のものを誤って陽性と予測した割合

$ \frac{\mathrm{FP}}{\mathrm{TN} + \mathrm{FP}}

$ 1 - \mathrm{特異度}

$ 1 - \mathrm{真陰性率}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & TP & FN \\ \text{陰性(実)} & \colorbox{#fcc}{FP} & \colorbox{#ccf}{TN} \end{array}

偽陰性率(false negative fraction;FNF / false negative rate; FNR)

モデルが実際に陽性のものを誤って陰性と予測した割合

$ \frac{\mathrm{FN}}{\mathrm{TP} + \mathrm{FN}}

$ \begin{array}{c|cc} & \text{陽性(予)} & \text{陰性(予)} \\ \hline \text{陽性(実)} & \colorbox{#ccf}{TP} & \colorbox{#fcc}{FN} \\ \text{陰性(実)} & FP & FN \end{array}