二乗の期待値
確率変数の二乗の期待値
$ E[X^2] = E[X]^{2} + Var(X)
１乗の期待値(平均)の二乗に分散を加えたもの。
分散が0(全部同じ数字)なら、$ E[X^2] = E[X]^{2} になる
逆にいうと、$ E[X^2] がわかれば、分散(平均からの差の二乗和平均)もわかる。
https://gyazo.com/9df941eeac9100156737c0c4b5048710 https://gyazo.com/a4946d888e8eba06e552d318f1e48ec5
ある確率変数 Xの二乗の期待値。
Xの平均の二乗と分散の二乗の和になる。
Xの期待値の二乗は、平均の二乗(のみ)なので、
二乗する操作と、期待値を取る操作の順番を変えると、違う量になっている。
式で表すと、
$ E[X^2]= u^2 + \sigma{^2}
これ $ \sigma^2 は分散で、これを、$ Var(X)と書いて、式を入れ替えると、$ \mu^2は、E[X]^2 で、
$ Var(X)= E[X^2]- {E[X]}^2
"二乗の期待値" と "期待値の二乗" の差が分散となった(だった)
で、パラメータ単独の二乗の期待値もいいけど、基準値とのズレの二乗の期待値を考える。
これをバイアス(の二乗は考慮?)という。はず。
$ E[(X-a)^2 として、(X-a)もまた、一介の確率変数なはずなので、
$ E[(X-a)^2] = (u - a)^2 + \sigma^2
$ \sigmaは変動しない、なぜなら....元々偏差の二乗の平均値だが....詰まった... #TODO ズレの二乗と元の確率変数が持つ分散(バリアンス)に分解される。
一般に、基準値a と 実際の値X との誤差の二乗 (X -a)^2 を自乗誤差と呼びます。 バイアス・バリアンス分解
損失の期待値は、バリアンスとバイアス（とノイズ）の和であり、バイアスとバリアンスが両方共なるべく低い位置で正則化を決めることで、新規データに対する誤差も小さくなりうるということです。（バイアスとバリアンスの和と、新規データに対する誤差との差がノイズの項で現れる）
まだ、理解できてない。
損失関数は以下の最小自乗損失を用いる。
分散自体が、確率変数の、二乗の期待値 - 期待値の二乗 で、いろいろ分解操作があるけど、頭の中が整理できてない。