過学習
機械学習における過学習とは、訓練誤差は小さいにもかかわらず、汎化誤差（未知のデータを判定したときの誤差）が小さくならない状態
「オーバーフィッティング」や「過剰適合」とも呼ぶ
モデルが教師データセットにおけるパターンだけでなく、教師データそのものを学習しすぎてしまった状態。過学習は、未知のデータを判定できない原因を作ってしまう
過学習の原因と回避法
重みの値が大きすぎる。
機械学習では、重みを小さい値に保つので、この場合は、汎化誤差を下げるために正則化（誤差パラメータのノルムによる正則化項を付け加えること）を使い、過学習を回避する。正則化には、一部のパラメータの値を0にすることで、特徴選択を行う「L1正則化」と、パラメータの大きさに応じて0に近づけることで、汎化された滑らかなモデルを構築することができる「L2正則化」がある。L1やL2は、ノルム（移動距離）の種類のことをいう。 教師データの量が不十分である。
画像を扱っている場合、データ拡張で比較的簡単にデータの不足を補うこともできる。
他にも正則化（データの大きさを適切にスケーリングすること）やドロップアウト（ディープニューラルネットワークにおける、重みの更新の際に一定の割合でランダムに枝を無効化する手法）が過学習の回避法として挙げれる。サポートベクトルマシンの場合、特徴量の次元数が多いなら、カーネル法を使用することによって回避することも可能である。 参考：LIONBRIDGEAI/機械学習における「過学習」の原因と回避法を解説/2021.01.06/