残差
http://bellcurve.jp/statistics/wp-body/wp-content/uploads/2017/01/795316b92fc766b0181f6fef074f03fa-2.png
$ e_i=y_i-\hat{y}_i
実際のデータの値と予測値の差
ここからわかるように、この値には真の回帰式のデータの情報は含まれていない
特性
残差の総和は0。当たり前に残差の算術平均も0。
$ \sum e_{i}=0.
$ \frac{1}{n}\sum^n_{k=1}e_k=0.
標準化残差
$ e_k'=\frac{e_k}{\sqrt(V_e)}.
残差の分散
$ V(e_k)=\sigma^2(1-h_{kk}).