バイアスとバリアンスのトレードオフ
データを学習すればするだけ必然ノイズも学習してしまうことになるので、モデルの複雑化に応じてバリアンスの増加を避けられない
ノイズは学習しないようにシンプルなモデルにすれば本質的な関係の学習が弱くなり必然誤差がでかくなってしまう
トレードオフの関係にある
hiroki.icon人間自体の学習にもいえることだよな
誤差の原因であるバイアスとバリアンスの両方を下げ続けることはできなくてトレードオフになりますよってこと
バイアス(誤差)
予測値と正解値とのズレ
バイアスがでかい→入力と出力の関係を適切に学習できていない→学習不足
誤差のうち、モデルの過程の誤りに由来
一番いいモデル(神のみぞ知る)との差がバイアス
シンプル過ぎる
バリアンス(分散)
予測値の広がり
バリアンスがでかい→訓練データのノイズまで学習してしまっている→過学習→未知データの予測ができない
誤差のうち、訓練データの揺らぎに由来
複雑過ぎる
https://gyazo.com/12c53dd49216f64a777551f9e52bedc8
https://gyazo.com/07cddf3d1c8ff2f82b1bf9e4be42402d
バイアス・バリアンス分解
hiroki.iconこの感性がめっちゃ大事だなぁ
特徴量の数の決定やモデルの複雑度の決定などにおいて、バイアスとバリアンスとの影響関係などを常に感じれていると意思決定できる