ROC曲線 - pogi-log

ROC曲線

ROC曲線(Receiver operating characteristic curve、受信者動作特性曲線)

縦軸に真陽性率(再現率、TP)、横軸に偽陽性率(FP)をとったグラフ

2値分類モデルの精度

陽性、陰性のクラスに分けるモデル

2つに分けるものなので二値分類タスクとも呼ばれる

table: 混同行列

予測したクラス

陽性陰性

実際の陽性真陽性(TP) 偽陽性(FP)

クラス陰性偽陰性(FN) 真陰性(TN)

こういう表を混同行列と呼ぶ

真陽性(True Positive; TP)

ポジティブ(陽性や正解など)と予測されたものが実際にポジティブなもの

真陰性(True Negative; TN)

ネガティブ(陰性や不正解など)と予測されたものが実際にネガティブなもの

偽陽性(False Positive; FP, フォールスポジティブ)

ポジティブと予測されたものが誤っている(ネガティブである)ようなもの

タイプⅠの誤り(第一種過誤)

偽陰性(False Negative; FN, フォールスネガティブ)

ネガティブと予測されたものが誤っている(ポジティブである)ようなもの

タイプⅡの誤り(第二種過誤)

混同行列から使用される指標

あまりにもTP、TN等がどれがどこだかわからないので色付けする

$ \colorbox{#fcc}{\text{赤}} が上と下の両方に来るもの

$ \colorbox{#ccf}{紫} が下の方のみに来るもの

正解率(accuracy)

実際のクラスと同じクラスを予測した割合

$ \frac{\mathrm{TP} + \mathrm{TN}}{\mathrm{TP} + \mathrm{FN} + \mathrm{FP} + \mathrm{TN}}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & \colorbox{#fcc}{TP} & \colorbox{#ccf}{FP} \\ \text{陰性} & \colorbox{#ccf}{FN} & \colorbox{#fcc}{TN} \end{array}

適合率(precision)

陽性と予測したもののうち、実際に陽性だった割合

$ \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & \colorbox{#fcc}{TP} & \colorbox{#ccf}{FP} \\ \text{陰性} & FN & TN \end{array}

真陽性率(true positive fraction;TPF / true positive rate;TPR)、再現率(recall)、感度(sensitivity)

実際に陽性のものを正しく陽性と予測した割合

$ \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & \colorbox{#fcc}{TP} & FP \\ \text{陰性} & \colorbox{#ccf}{FN} & TN \end{array}

真陰性率(true false fraction; TFF / true false rate; TFR)、特異度(specificity)

実際に陰性のものを正しく陰性として予測した割合

$ \frac{\mathrm{TN}}{\mathrm{TN} + \mathrm{FP}}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & TP & \colorbox{#ccf}{FP} \\ \text{陰性} & FN & \colorbox{#fcc}{TN} \end{array}

偽陽性率(false positive fraction;FPF / false positive rate;FPR)

実際に陰性のものを誤って陽性と予測した割合

$ \frac{\mathrm{FP}}{\mathrm{TN} + \mathrm{FP}}

$ 1 - \mathrm{特異度}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & TP & \colorbox{#fcc}{FP} \\ \text{陰性} & FN & \colorbox{#ccf}{TN} \end{array}

偽陰性率(false negative fraction;FNF / false negative rate;FNR)

実際に陽性のものを誤って陰性と予測した割合

$ \frac{\mathrm{FN}}{\mathrm{TP} + \mathrm{FN}}

$ \begin{array}{c|cc} & \text{陽性} & \text{陰性} \\ \hline \text{陽性} & \colorbox{#ccf}{TP} & FP \\ \text{陰性} & \colorbox{#fcc}{FN} & FN \end{array}

AUC(Area Under the Curve)

ROC曲線の下の部分

モデルがランダムな選択よりどれだけ優れているかを示す指標

1に近いほど良いモデル