ROC曲線 PR曲線
Precision and recallをもっといい感じにしたやつ
あとで
ROC曲線はwikipediaにもあるが、PR曲線は無い
歴史的には、第二次世界大戦での需要でROC曲線が発明され、その後にいろいろ他の現場で使われてるぽい
ほんで、PR曲線はPrecisionとrecallで同様のことをやってるだけ
閾値を操作して2つの指標をプロットするだけ
ROC曲線とPR曲線でconfusion matrix上での分母の配置が違うことを頭の片隅に入れておこう
インバランスデータのときにPR曲線を使うといい
前提として、
陰性陽性の二値分類
この2値を判断するための、一次元の値をモデルは出力する
閾値がハイパーパラメータとして存在する
深層学習勉強してたので、ついつい確率は何らかのベクトルからlogit的な層挟んだものをイメージしてたので、閾値がなんなのかわからなかった
ただ、モデルの出力が確率になっていたとしても、陽性判定の閾値を50%にしなければ同様の曲線は定義できて評価はできるな
普通に上記の2つの曲線を知ったら、第三の曲線を思いつくわけだが、そういう指標は意味ないのか
分母を予測じゃなくて真値側で平行にとったときのやつ
多分意味がないんだと思う
いやわからん
ROCを計算すれば、ソレの場合の数値も計算で求まるはずなので
見逃しと空振りのビジネス上のコストが関係するなら、その指標も考慮に値したりしないのかしら?