ティコノフ正則化
目的関数
に新たな項（
正則化
）を加える
$ J^T(w)=||Xw-Y||_{2}^2+λ||w||_{2}^2
第一項：損失項(
損失関数
) 第二項：正則化項(
正則化関数
)
$ λ>0
は適当な数値。
$ \nabla J^T(w)=0
$ \nabla J^T(w)=2X^τ(Xw-Y)+2λw=0
$ X^τX+λI_{n}
は正則行列
$ w=(X^τX+λI_{n})^{-1}X^τY
これから導かれる最適解を
$ w_{λ}^*
とおくと、
$ \nabla J(w_{λ}^*)=-λw_{λ}^*
λを
正則化パラメータ
という。
λが大きすぎると
汎化誤差
と
経験誤差
が大きくなる。→未学習
参考文献： UTokyo Open Course Ware
https://ocw.u-tokyo.ac.jp/lecture_1827/
#最適化問題