正則化 - ggkkiwat

正則化

public.icon

過学習を防ぐための手法

損失関数(＝誤差関数)に正則化項を加え、これを目的関数として最適化を行う

正則化項がパラメータの大きさに対するペナルティとして作用し、これを最小化するパラメータを最適化問題として解く

「正則化項」

https://gyazo.com/cd6cc1729a6ff9bd70c7169cbdedb5d0

正則化項をL1ノルム(各要素の絶対値の和をとった"マンハッタン距離")で定義する

https://gyazo.com/bac88324ed1f2c42932ef2588c8c624a

https://gyazo.com/26e16eaa1b2d978c977b6f2ca560e8bf

正則化項をL2ノルム(各要素の二乗和の平方根をとった「"ユークリッド距離"(一般的な意味での"距離")」)で定義する

https://gyazo.com/54416a843ee6a4c3c3e4f9cb71b1909f

「正則化項の等高線上で損失関数が最小になる位置」が最適解

「接する」位置が、「正則化項の等高線上をどの方向に移動しようとも損失関数が小さくなる」位置

https://gyazo.com/d7ecd7bae924e6199a01e6ebfc2dce5b

寄与が小さい重みを、選択的に小さくしている

λを大きくする(正則化の影響を強くする)と、正則化項の円は小さくなる

最小となる重みの場所が、原点に寄ってくる

これは「寄与が小さい重みを、選択的に小さくする」効果がある

ex: 上図だと、λを大きくすると、w1の値は大きく変化するが、w2の値は小さく変化する。つまりw1という寄与が小さい重みを小さくしている。

https://gyazo.com/3a7a92c421649a4ecb6bb6a1bdab9a89