最小二乗法
予測されるデータと入力されたデータの差の２乗を用いて目的関数を評価する方法。 予測関数（目的関数） $ y=w^τx の悪さを以下の関数で評価する。
$ J(w)=\sum_{i=1}^{n}(y_{i}-w^τx_{i})^2
$ Jを最小とするようなwを求める。
→最小となるようなwに対しては、
$ \nabla_{w} J(w)=0が成り立つ。
これをみたすからといって最小であるとは限らない。
↓もっと具体的に！
$ J(w) = \sum_{i=1}^{n}((Y-Xw)の第i成分)^2 = ||Y-wX||_{2}^2
$ \nabla_{w} J(w)= X^τ(2(wX-Y))
$ X^τX（グラム行列）が正則でないとき
解なしor重解
このとき、予測関数が無限にあって選べない！→学習がうまくできない
参考：UTokyo Open course Ware 「情報数理科学VII 2019年度開講 第1回 I. 教師あり学習 (1)」