過学習

過学習とは

別名オーバーフィッティングや過適合という

手元にあるデータだけにピッタリと合い、未知のデータに対して全く合わずに予測ができなくなってしまう

手元のデータにフィッティングしすぎると未知のデータに対する予測精度が下がる

過学習はバリアンス・バイアスの関係性が深い

過学習を回避するためには

学習データと検証データを分ける（バリエーション）

分けた後の学習モデルを使ってモデルを構築することで過学習の起きにくいモデルを作成できる

学習データがうまく推定できても検証データだと誤差が大きいのであればモデル構築がうまくできていないと言える