機械学習における正則化
正則化とは数理最適化において, ある目的関数にペナルティを与えること. これは正則化項の導入で実現する
例えば, 機械学習における過学習の抑制, エントロピー最大化で行列を密にする, など
他
https://www.youtube.com/watch?v=3vfiMRjgzZ8
与えられたデータにたくさんの特徴があって, その中であまり有用でないデータがたくさん含まれている時, 精度向上のためにそれらを取り除きたい
これを特徴量選択という. 求めたい情報に対して有用な特徴量を残し, 予測精度の向上を目指すと共に, 計算効率を上げる. また, 予測 (目的変数) に影響する変数 (説明変数) が少なくなるので, 結果の解釈がやり易くなる
ノルムでない手法
ノルムはベクトル空間上での距離のこと
e.g. 回帰でのL2ノルム
回帰: $ E(w) = \Sigma_{i=1}^N (t_i - w^Tx)^2
リッジ回帰: $ E(w) = \Sigma_{i=1}^N (t_i - w^Tx)^2 +\lambda w^Tw
$ w^Twは$ ||w||_2^2. つまりL2ノルムの二乗
原点から離れると正則化項が大きくなり, 予測結果の値が大きくなる. 正則化項がペナルティとして働く
なお, $ \lambdaは正則化パラメータ. これを大きくすると正則化が強まる
ここで原点は目的変数の値かな
L2ノルムの意味的に原点に近い解が求まる