正則化
正則化とはなんだ
正則化というのも、ある意味、複雑なモデルを単純なモデルへ変化させていく数学的な手法と言えると思います。
数式を書いて説明していくと収拾つかなくなりますので、どういうものかイメージだけ説明すると、パラメーターの値が大きくなりすぎるのを防いで、小さい値に近づけていくことで、変数の影響を抑える数学的な手法ということになりますか。
つまり、不要なパラメータの影響を小さくすることで複雑なモデルを単純なモデルに変えていきながら、過学習を防ぐということかと思います。
学習を評価するための標準的なモデル
与えられた$ (x_{i},y_{i})と、今後予測したい$ (x_{未知},y_{未知})がすべて独立に同じ分布から発生する。