ノルム
ノルムはベクトルの距離や関係性を表すための尺度. 大きさのことだが, 実用上は距離のこと
cf.
これが一番詳しい. 僕が知りたかった機械学習における応用について書いてある
大まかにどういう意味があるか書いてある
万能の解 (黄金の方法) はなく, データに対して適切な分析手法と尺度を選択する必要がある, というのが主旨 距離の簡単な説明は載っているが, 機械学習での応用について言及がない
ノルムを一般化するとこれになるらしい
$ L_1ノルム
マンハッタン距離. 要素の絶対値の合計
式: $ ||\mathbf{x}||_1 = \Sigma_{i=0}^n |x_i|
L1正則化
$ L_2ノルム
ユークリッド距離. 各要素の二乗和のルートを取る
式: $ ||\mathbf{x}||_2 = \sqrt{\Sigma_{i}^{n} x_i^2}
L2正則化 / 重み減衰
$ L_\infinノルム
チェビシェフ距離, 最大値ノルム
式: $ \|\mathbf{x}\|_\infty = \max (|x_1|, |x_2|, \dots, |x_n|)
ノイズの上限設定で使用
こういったノルムの一般化がミンコフスキー距離