正則化
学習用データの内、複雑なデータ、滑らかでないモデルに罰則を与えて、重みを下げる事です。言い換えると、学習用データの内、他と余りにもかけ離れたデータは無視、または重要度を下げて学習モデルを複雑にしない、滑らかにするという事です。
機械学習においては、主にL1正則化、L2正則化が使用されているようです。
L1正則化(Lasso回帰)
他と余りにもかけ離れたデータの重みを0にする事で、学習用データから削除するものです。
L2正則化(Ridge回帰)
他と余りにもかけ離れたデータの大きさに応じて0に近づけて、学習結果を滑らかにするものです