過学習

訓練データ（学習に使ったデータ）にあまりに適合しすぎて、訓練データでは正解率が高いのに、訓練データとは異なるデータでは正解率が低くなってしまうこと

つまり訓練データだけに最適化、汎用性がない状態に陥ること

回避する方法

早期終了・早期打ち切り

有害な学習をしないうちに止める

訓練データの数を増やす

モデルを簡単なものに変更する

問題の複雑さに対して過大なネットワーク自由度を持たせて作っていると自分で認識できていないとリスクがあって難しい

モデルをドロップアウトする

ネットワーク自由度を強制的に小さくして過学習を回避する

多層ネットワークの各層のユニットを確率的に選別して、その他を無効化

正則化

複雑なモデル　→　単純なモデル　に変化させていく数学的な手法

パラメータの値が大きくなり過ぎるのを防いで小さい値に近づける（変数の影響を抑える）

参考文献