リッジ回帰
係数をできるだけ小さくしつつ、予測と実際の誤差を小さくする
誤差が小さくなるようにするだけではなく、係数の大きさを表すF(正規化項)も小さくなるように、計算式の係数を選ぶ
係数が大きい場合は、係数^2の値はかなり大きくなるため、係数の大小関係に対して、影響を与えられる
過学習を防げる可能性が高くなる
「訓練データでの予測と実測の誤差」+ 「計算式の係数の2乗の合計」を足し合わせた「L」が最小になるような計算式
L = E + (定数) * F
定数は分析者が決める
小さくすると、係数の大きさを考慮しないことになる
大きくしすぎると、係数の大きさを無視することになり、訓練データの予測結果が悪くなる
E は予測と実測の誤差(正確には誤差の2乗)の合計
F は係数の2乗の合計