単回帰分析
回帰分析
ストーリー
1. 単回帰モデルを想定し、回帰母数を最小二乗法を用いて推定する
2. 寄与率, 自由度調整寄与率を求めて↑の回帰式の性能を評価
3. 回帰係数について仮説検定、区間推定をする
4. 残差、テコ比の検討をし、得られた回帰式の妥当性を検討する
5. 予測する
単回帰モデル
$ y_{i}=\beta_{0}+\beta_{1}x+\epsilon.
回帰母数$ \beta_0,\beta_1を推定するのが目的
誤差$ \epsilonは観測できない確率変数
最小二乗推定量
最小二乗法を用いると、回帰母数を推定したもの$ \hat{\beta}_0,\hat{\beta}_1が求まる
$ \hat{\beta_0}=\overline{y}-\hat{\beta_1}\overline{x}.
$ \hat{\beta_1}=\frac{S_{xy}}{S_{xx}}.
つまり、以下のように推定式を得られる
$ \hat{y}=\hat{\beta_0}+\hat{\beta_1}x=\overline{y}+\hat{\beta_1}(x-\overline{x}).
この式は$ (\overline{x},\overline{y})を通ることがわかる
誤差$ \epsilon_kは観測できないので、残差$ e_kで代用する
誤差の母分散の推定量は
$ \hat{\sigma^2}=V_e=\frac{S_e}{n-2}.
https://tutorials.chainer.org/ja/07_Regression_Analysis.html#単回帰分析