特異値分解
行列分解で 低ランクで近似をしたい 実用性が高い
分解すると見える世界 ー特異値分解ー | Think IT(シンクイット)
$ M = U \Sigma V^{*}特異値分解 - Wikipedia
そのままMする写像をするのではなく、V*して特異値倍?してUで戻す(下図なら回転). 直交状態を維持
[https://gyazo.com/f138812165c9d2fd2e465645e4485a5e
以下、操作対象の行列の文字をA
対称行列なら、固有値分解と同じ?
特異値分解の定義,性質,具体例 | 高校数学の美しい物語
行列の固有値分解は正方行列に対してのみ定義されますが,特異値分解は長方行列でも考えることができます
行列の(0 でない)特異値の数は,その行列のランクと一致します
A が対称行列のとき,A の固有値と特異値は一致します。対称行列は直交行列で対角化できるからです
特異値分解の効用が見える
分解すると見える世界 ー特異値分解ー | Think IT(シンクイット)
リンク切れになったけど、残しておく。
以下、擬似逆行列の作り方  そして、ガウスの最小拘束の原理から、メモ
対称行列でない場合は、
擬似逆行列の作り方  そして、ガウスの最小拘束の原理
行列Aのn乗を正確に計算する場合には....だが、ジョルダン標準形には、実用性はあまりない。
その他の用途では、Aの数値的な性格傾向を知るには特異値分解が適している
固有値分解より、特異値分解のが、実用性が高い分野はおおいと。機械学習でも低ランク近似に使われる?
特異値分解を用いて、擬似逆行列を計算することができる。
と表せる。ここに Σ+ は、Σ の零でない成分の逆数を成分とする行列の転置である。この擬似逆行列を用いて、線形最小二乗法を行うことができる。
$ U \Sigma Vの逆行列を取ると、これは、 Aの擬似逆行列 とよばれるものになる。
A*と表記すると, Aのinverseはそのまま定義できないけど、 $ AA^*A = Aみたいなことは成り立つ。
m 行 n 列の任意の行列 A について、 Singular Value Decomposition は下記のように行う。
$ C = AA^T
ここで、普通に固有値を求める。固有値の並べ替え。固有ベクトル(w)を長さ1に正規化
固有値の平方根を取る。これが特異値。で、対角行列に並べる
$ V_i = \frac{1}{\lambda_i}A^Tw_i
W, $ \Sigma, Vが求まった。