特異値分解
Singular Value Decomposition
,
SVD
$ X = USV^T
U
直交行列
単語空間
として扱える
S
特異値
が大きい順に並んでいる
対応する軸の重要度
対角行列
V
直交行列
応用方法
行列Sの特異値が小さいものは重要度が低いため、行列Uから余分な列ベクトルを削ることで、元の行列を近似する事が可能。
例えば、二次元のベクトルに削減したいなら、 U の先頭2つの要素を取り出せば良い。
SVDの計算はO(N^3)
計算量が大きすぎるため、
Truncated SVD
などの高速な手法が用いられる
参照:ゼロから作るDL2