正則化

説明変数xが少し変化しただけで

予測結果yに大きな影響を与えてしまう。

「回数係数が大きいことによるペナルティを与える項」

正規化項の作り方は二つある

回帰係数の絶対値の和を基準にする。

あまり重要でない説明変数の回帰係数がゼロになる性質がある。

そのため、本当に必要な変数だけが回帰に利用される。

回数係数の2乗和を基準とするもの。

誤差関数を最小化する計算が簡単で、予測性能が高い。

ニューラルネットワークでもL1,L2正規化を行うことで過学習を抑えられる。