大数の弱法則

Weak Law of Large Numbers

定義

前提

$ \muは期待値$ \mu= E(X_k)

$ \forall \varepsilon \gt 0

のとき、以下が成り立つ

$ \lim _{n \rightarrow \infty} P\left(\left|\bar{X}_{n}-\mu\right|>\varepsilon\right)=0

要するに

「$ nを大きくすると$ \bar{X}_{n}\fallingdotseq\muになる」ということを言っているわけだが、

この「$ \fallingdotseq」を上のような数式で厳密に定義している

証明

$ \forall \varepsilon\gt0に対して

$ P\left(\left|\bar{X}_{n}-\mu\right|>\varepsilon\right)=P\left(\left|\bar{X}_{n}-\mu\right|^2>\varepsilon^2\right)

まじ #??

この式変形の意図は絶対値が扱いづらいため。

ここで$ Y=|\bar{X}_{n}-\mu|^2としてマルコフの不等式を考えると

①$ P\left(\left|\bar{X}_{n}-\mu\right|^2>\varepsilon^2\right)\le \frac{1}{\varepsilon^2}E(|\bar{X}_n-\mu|^2)

ここで、$ E(|\bar{X}_n-\mu|^2)を式変形していく

準備として$ S_n=X_1+\cdots+X_nとすると、$ \bar{X}_n=\frac{S_n}{n}

$ E(|\bar{X}_n-\mu|^2)=E(|\frac{S_n}{n}-\mu|^2)

$ =E((\frac{S_n}{n}-\mu)^2)

$ =E((\frac{S_n-\mu n}{n})^2)

分母を揃えた

$ =E((\frac{\sum^n_{k=1}X_k-\mu n}{n})^2)

$ =E((\frac{\sum^n_{k=1}(X_k-\mu)}{n})^2)

Σにμnを入れた

$ =\frac{1}{n^2}E(\sum^n_{k=1}(X_k-\mu)^2+2\sum_{1\le k\le j\le n}(X_k-\mu)(X_j-\mu))

展開

$ =\frac{1}{n^2}(\sum^n_{k=1}E(X_k-\mu)^2)

$ E(X_k-\mu)=E(X_k)-\mu=\mu-\mu=0なので、第二項は0になるので消去した

さらにΣとEを入れ替えた

$ =\frac{1}{n^2}nE((X_k-\mu)^2)

$ E(X_k)-\muは$ kの値によらず等しいので。

$ \frac{1}{n}\sigma^2

$ E((X_k-\mu)^2)は分散なので。

よって①を変形して

$ 0\le P\left(\left|\bar{X}_{n}-\mu\right|^2>\varepsilon^2\right)\le \frac{\sigma^2}{n\varepsilon^2}

「$ 0\le」なのは、確率なので。

ここで$ n\to\infinのとき$ \frac{\sigma^2}{n\varepsilon^2}\to0なので、

はさみうちの原理を使うと

$ \lim_{n\to\infin}P\left(\left|\bar{X}_{n}-\mu\right|^2>\varepsilon^2\right)=0