過学習

訓練誤差は小さいにもかかわらず、汎化誤差（未知のデータを判定したときの誤差）が小さくならない状態

原因

重みの値が大きすぎる

教師データの量が不十分

対策

正則化を行う（誤差パラメータのノルムによる正則化項を付け加えること）

画像データの場合、データを拡張する

ドロップアウトする