変数増加法
重回帰分析で適当な説明変数を求める時に用いる方法の一つ 定数項だけのモデルに有用な変数を追加していく
手順
1. 説明変数を含まない定数項だけのモデルを考える
Model0: $ y=\beta_0 + \epsilon
$ \phi_e(M0)=n-1.
$ nはデータの個数
2. 一つの変数を加えたモデルを仮定する
Model0+j: $ y=\beta_0+\beta_1x_j+\epsilon
このモデルの残差平方和$ S_e(M0+j)=S_{yy}の自由度は$ \phi_e(M0+j)=n-2. Model0からModel0+jに変えた時に、相対的な残差平方和の減少が大きくなるようにしたい 分散比$ F_{0}=F_{0\left(M 0_{+j}\right)}=\frac{\left(S_{e(M 0)}-S_{e\left(M 0_{+j}\right)}\right) /\left(\phi_{e(M 0)}-\phi_{e(M 0_{+j})}\right)}{S_{e\left(M 0_{+j}\right)} / \phi_{e(M 0_{+j})}}.
この式はModel0からModel0+jの相対的な残差平方和の減少量$ \frac{S_{e(M 0)}-S_{e\left(M 0_{+j}\right)}}{S_{e\left(M 0_{+j}\right)}}を自由度で調整したもの
分散比は大きいほど嬉しい
各変数$ x_jについて分散比$ F_0を求め、最大になる$ x_jをモデルに取り込む。
ただし↑の$ F_0が2より小さい場合、取り込むメリットが少ないと判断しどの変数も取り込まずに終了する
例えば$ x_1を取り込んだとすると、今回得られたモデルであるModel1は$ y=\beta_0+\beta_1x_1+\epsilonとなる
3. この操作を、ずっと繰り返す
毎度仮定するModel k+jの残差平方和の自由度は$ n-(k+2)になる
Model k+jは、変数をk個まで取り込んだ状態で、k+1個目を取り込もうとして仮定したときのモデル