二値分類における評価指標

二値分類の問題

二値分類：データを2つのクラスに分類する問題

以下のようなデータで、x1が数学の点数、x2が英語の点数で、「●」を合格、「×」を不合格して合否を決める問題、こういうものも二値分類の例

https://gyazo.com/da3f6ba67c0e5f54f3dbd9a1489ad4bb

正例（陽性）と負例（陰性）

検査の場合など、場合によってはこっちのほうがイメージしやすいかも）

2つのクラスに意味があり、いずれかのクラスをとくに発見したいのであればそちらを正例にすることが多い

たとえば、病気の診断（「病気である」か「病気でない」か）の場合は、病気を発見したいので、「病気である」のクラスを正例（陽性）とする

それぞれに応じて評価指標が考えられる

機械学習モデルによる分類と誤分類

上の合否のデータで決定木モデルを学習すると以下のようになったとする

データが青い領域にあれば、モデルは「●」と分類する

青い領域にある「×」の点は、「モデルは●と分類したが、実際は×だった」という誤分類をしたことになる

データが赤い領域にあれば、モデルは「×」と分類する

赤い領域にある「●」の点は、「モデルは×と分類したが、実際は●だった」という誤分類をしたことになる

さて、このモデルの「良さ」を評価するには、どうすればよいか？

Accuracy（正答率）だけをみていてよいだろうか？

二値分類結果に基づく評価指標

混同行列

まず評価を行うための前提として、各データに対する「予測（分類）結果」が正解かどうかに関して、以下の4つの数を計算する

予測（分類）が正解の場合

予測（分類）が不正解の場合

上の例での、テストデータに対する分類結果でこれらを計算すると・・・

https://gyazo.com/8da866d590e2323f4de36f4df9bd28f6

ここで、「●」と「×」のうち、「×」を正例（陽性）と考えることにすると・・・

まず、実際のクラスの正例（陽性、「×」）は16個、負例（陰性、「●」）は9個ある

TP, TN, FP, FNは・・・

TPは「×と予測（赤い領域）して実際に×だった数」なので15個

TNは「●と予測（青い領域）して実際に●だった数」なので7個

FPは「×と予測（赤い領域）したが実際は●だった数」なので2個

FNは「●と予測（青い領域）したが実際は×だった数」なので1個

https://gyazo.com/db915a38adeeddec8c4c8ce62277189b

このような感じで計算結果を表示できる

https://gyazo.com/76789bfb07366860b8684396610e812e

二値分類結果に基づくさまざまな評価指標

$ \textrm{accuracy} = \frac{TP + TN}{TP + TN + FP + FN}

$ \textrm{error rate} = 1 - \textrm{accuracy}

つまり、正負問わず予測が正解だった割合を示す、単純な指標

error rateはaccuracyの裏返しなので、どちらも本質的には同じものを示す。場合によって使い分ける

$ \textrm{false positive rate} = \frac{FP}{FP + TN}

実際に負例（陰性）だったもののうち、正例（陽性）と予測したものの割合

0から1の値をとり、0に近いほど「良い」

$ \textrm{true positive rate} = \frac{TP}{TP + FN}

実際に正例（陽性）だったもののうち、正例（陽性）と予測したものの割合

0から1の値をとり、1に近いほど「良い」

$ \textrm{precision} = \frac{TP}{TP + FP}

precision（適合率）は、正例と予測したもののうち、真の値も正例である割合（正例と予測した場合の正解率）

要するに、モデルが「陽性だよ！」と言った場合にそれが当たっている割合を示す

$ \textrm{recall} = \frac{TP}{TP + FN}

recall（再現率）は、真の値が正例のもののうち、どの程度を正例の予測として含めることができているかの割合（正例の発見率）

要するに、「本当は陽性であるデータをどれくらい発見できたか」を示す

いずれも、0から1の値をとり、1に近いほど「良い」

どちらかを高くしようとすると、もう一方の値は低くなる

F1-score（F値）

precisionとrecallの調和平均

$ \textrm{F}_1 = \frac{2}{\frac{1}{\textrm{recall}}+\frac{1}{\textrm{precision}}} = 2 \frac{\textrm{precision}・\textrm{recall}}{\textrm{precision}+\textrm{recall}}

precisionとrecallの両方がそれなりに良い値だとF1-scoreも良くなるので、precisionとrecallのバランスをとりたい場合にはこの指標がよく用いられる

Classification Reportについて

https://gyazo.com/0c2d7b41ff126ea1dffcbf9684886104

たとえば上は「0（つまり「×」）」クラスのprecisionは0.88でrecallは0.94、「1（つまり「●」）」クラスのprecisionは0.88でrecallは0.78、といったことを示す

「support」は各クラスのデータの数を示す

「accuracy」はどちらのクラスを陽性にしても変わらないので、ひとつだけ表示される

（参考）「macro avg」、「weighted avg」は、各クラスの各指標を平均したもので、モデルの（ある種の）総合的な性能をみるための指標。「macro avg」は全クラスの平均、「weighted avg」は「support（各クラスのデータ数）」で重みをつけた平均。

学習データとテストデータのそれぞれについてClassification Reportをみておくとよい

https://gyazo.com/2932fbfcce466461b70efc6331f5b7f3

https://gyazo.com/0c2d7b41ff126ea1dffcbf9684886104

たとえばこの場合は、いずれのクラスも、そしてどの指標も、学習データは値が高く、テストデータはそれにくらべて値が低い。これは、このモデルはどの指標でみても過学習の傾向にあることを示唆している。

バリデーションやパラメータチューニングにおける指標