予測モデルのパラメータと学習
#過学習と汎化能力
予測モデル
教師あり学習
https://gyazo.com/89413d82e7a1d40ff9a95a46db15efe5
アルゴリズムにある通り、入力(説明変数)から出力(目的変数)の値を予測する予測モデル $ f(X; \theta)にはさまざまな種類がある
決定木
ランダムフォレスト
XGBoost
ロジスティック回帰
サポートベクターマシン(SVM)
多層パーセプトロン
その他いろいろ
モデルのパラメータ$ \thetaと学習
それぞれのモデルの枠組みの中で、データに合うように$ f(X; \theta)の形を変えていくのが教師あり学習
違う表現をすると、学習というのは、「データが示す説明変数と目的変数の関係を表現できるように、各モデルのパラメータ$ \thetaを調整していくこと」にほかならない
パラメータ$ \thetaによって$ fの形が変わる
https://gyazo.com/058d6102692592e43a294136a91e5b28
この例では、予測モデルとして$ y = w_0 + w_1 xという関数(線形回帰モデル)を用いようとしている
この関数でのパラメータ$ \thetaは$ w_0と$ w_1
データによくあてはまるように(誤差が小さくなるように)$ w_0と$ w_1を決めるのが学習
データにあわせて関数を決めるということ
さまざまなモデルのパラメータ$ \thetaは、たとえば・・・
決定木であれば、「どの説明変数をどの値で分割するか」を順次行っていくが、この分割の閾値自体がパラメータといえる
ロジスティック回帰であれば、$ \phi(z) = \frac{1}{1 + \exp(-z)}に入力する線形モデル$ z = w_0 + w_1 x_1 + \dots + w_m x_mの$ w_0, w_1, w_2, \dots, w_mがパラメータ
このように、「その値を変えることで関数の形が変わる」ものがパラメータ(調整ツマミみたいなもの)