共分散行列
$ n個のスカラー値確率変数の組$ \bm{X} = (X_1, ..., X_n)があるとき、以下を$ X_i, X_jの共分散という $ \sigma_{ij} = \mathbf{E} \left[(X_i - \mu_i)(X_j - \mu_j)\right] = \mathbf{E}\left(X_{i} X_{j}\right)-\mathbf{E}\left(X_{i}\right) \mathbf{E}\left(X_{j}\right)
ここで$ \mu_i = \mathbf{E}(X_i)は$ X_iの期待値 $ \sigma_{ii} = \mathbf{E} \left[(X_i - \mu_i)^2\right] = \mathrm{var}(X_i)
$ X_iと$ X_jの相関度合いを表す
https://gyazo.com/0ab3316c84ccb4833945fa1235bdfb43
共分散が正/負 = 赤/青のゾーンにサンプル点が偏っている = 正/負の相関関係あり
共分散が0に近い = サンプル点が赤にも青にもある = (線形の)相関関係なし
$ X_i, X_jが独立ならば$ \sigma_{ij} = (\mathbf{E}(X_i) - \mu_i)(\mathbf{E}(X_j) - \mu_j) = 0
逆は必ずしも成り立たない
これを並べた行列$ \Sigmaを$ X_1, ..., X_nの共分散行列（分散共分散行列）という
$ \Sigma = \left( \begin{array}{cccc} σ_{11} & σ_{12} & \ldots & σ_{1n} \\ σ_{21} & σ_{22} & \ldots & σ_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ σ_{n1} & σ_{n2} & \ldots & σ_{nn} \end{array} \right)
$ \mathrm{cov}(\bm{X})とも書く
単に分散と呼んで$ \mathrm{var}(\bm{X})とも書く
$ x^kを$ k番目のサンプル点とする
$ \hat \sigma_{ij} = \frac{1}{n-1} \sum_{k=1}^{n} \left(x_{i}^{(k)} - \bar x_i \right) \left(x_{j}^{(k)} - \bar x_j\right)
$ \bar x_i = \frac{1}{n} \sum_{k=1}^{n} x_i^{(k)}：標本平均 ？
$ \hat \sigma_{ij} = \frac{1}{n} \sum_{k=1}^{n} \left(x_{i}^{(k)} - \mu_{i} \right) \left(x_{j}^{(k)} - \mu_{j}\right)
$ \mu_i = \mathbf{E}(X_i)：真の期待値
$ \sigma_{ij} = \mathbf{E} \left[(X_i - \mu_i) \cdot (X_j - \mu_j)\right] = \mathbf{E}\left(X_{i} \cdot X_{j}\right)-\mathbf{E}\left(X_{i}\right) \cdot \mathbf{E}\left(X_{j}\right) とする？