第1種の誤り・第2種の誤り

こうした2種類の誤りがあり得ることを認識したうえで、それぞれのリスクを洗い出して、どのリスクをどの程度許容するのかについて合意を取るようなことは、組織や集団において、多くの価値観のもとでなにかのものごとを決めるときの考え方のヒントになるでしょう。

機械学習も、データから学習した予測モデルをもとに、ある種の「判断」を行う（あるいは判断のもととなる情報を導き出す）ものです。機械学習を「実際に使う」場合にも、機械学習が行う「判断」が起こし得る2種類の誤りについて認識をしておくことが重要です。

二値判断と判断の誤り

https://gyazo.com/baea9a841b316031d01165d220caf7df

画像は以下より引用

上の例では、「妊娠している」ことを発見したいので、「妊娠している」ことを陽性、「妊娠していない」ことを陰性としている

上の例は、「妊娠しているかどうかの診断をする」ケースでの、2種類の誤りを示した図

第1種の誤り、第2種の誤りの例

以下の二値判断の例について、？？？に何が入るか考えてみよう

例1）感染症の検査

検査をして、感染しているかどうかを判断する。感染をみつけたいので、感染している状態を「陽性」とする

以下の？？？には、「感染している」と「感染していない」のいずれかが入ります

第1種の誤り（偽陽性）：本当は？？？人を？？？と診断

第2種の誤り（偽陰性）：本当は？？？人を？？？と診断

例2）裁判における判決

有罪か無罪かを判断する。有罪であることをみつけたいので、有罪である状態を「陽性」とする

以下の？？？には、「有罪」と「無罪」のいずれかが入ります

第1種の誤り（偽陽性）：本当は？？？の人を？？？と判断

第2種の誤り（偽陰性）：本当は？？？の人を？？？と判断

偽陽性・偽陰性のシミュレーション

以下のスプレッドシートで、検査における偽陽性・偽陰性を体験してみよう

病気の検査を例にして、偽陽性（第1種の誤り）と偽陰性（第2種の誤り）がどのように発生するかをシミュレーションすることができます

検査の数値をもとに「陽性である確率」が計算される、というイメージ

第1種の誤り、第2種の誤りのトレードオフ

実際に陽性である人を確実に見つけたい（＝第2種の誤りを小さくしたい）場合

検査の感度をすごく高くして、ちょっとした「疑わしさ」でも陽性を出すようにする

そうすると、「本当に陽性」の人は確実に見つかるが、「偽陽性」の人が増えてしまう

極端にいえば、全員を陽性と判定すれば、陽性の人は確実に見つけられるが……それって意味ある？？

逆に、第1種の誤りを小さくしたい、つまり「陽性」と判断する場合は間違いなく陽性であってほしい場合

検査の判定基準を厳しくして、相当に確信できる場合のみ陽性と判断するようにする

そうすると、陽性と判定した場合には実際に陽性であることが多くなるが、陽性判定がなかなか出ないので、本来見つけたい陽性の人を見つけにくくなる

第2種の誤りを小さくしたいと第1種の誤りが大きくなって「無駄の多い判断」になる

第1種の誤りを小さくしたいと第2種の誤りが大きくなって「見つけたいものが見つけられなく」なる

検査の例に限らず、あらゆる二値判断には、この2種類の誤りとそのトレードオフが起こり得る！

2種類の誤りのリスクと機械学習

第1種の誤り（偽陽性）と第2種の誤り（偽陰性）はトレードオフするが、どちらを重視すべきかは問題による

いずれの誤りを避けるべきかは、想定されるリスクの重大さによって異なるはず

重大な感染症の検査など、命に関わるような強大なリスクであれば、偽陽性を高めてでも確実に検出したい（なるべく第2種の誤りが起こらないようにする）だろう

しかし、あまりに偽陽性が高すぎると、ほとんど「嘘つきの検査」になってしまい、コストも高くなるし、信用もなくなる・・・

有罪・無罪の判決だと、「有罪」と判断して実際には無実だった（第1種の誤り：偽陽性）という冤罪は避けるべき（疑わしきは罰せず）なので、なるべく第1種の誤りが起こらないようにするだろう

2種類の誤りと機械学習

機械学習の分類問題においても、二値判断である以上、これらの2種類の誤りが原理的に起こり得る

たとえば、上のような「病気の診断」を機械学習に置き換えることを想像してみよう

そのため、機械学習を分類問題に活用しようと思う場合には、それぞれの誤りにどのようなリスクがあるのかを想定しておくことが重要