ド・モアブル=ラプラスの極限定理

$ B(k; n, p) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}

当時はまだ正規分布という言葉はなかった

ガウスが生まれるのが1777年である

ド・モアブルすごい

後に一般化されて中心極限定理が生まれる

この二項分布の極限が正規分布になる流れをしっかり把握しておきたい

$ P(X=k) = \frac{n!}{k!(n-k!)} p^k (1-p)^{n-k}

$ P(X=k) = \frac{n!}{k!(n-k!)} p^k q^{n-k}

$ P(X=k) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}

$ \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}

$ = \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(x\sqrt{npq})^2}{2npq} \right\}

$ = \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{x^2 npq}{2npq} \right\}

$ = \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ -\frac{x^2}{2} \right\}

スターリングの公式とは階乗を累乗で近似するもの

$ n! \approx n^n e^{-n} \sqrt{2\pi n}

ここから証明

$ P(X=k) = \frac{n!}{k!(n-k!)} p^k q^{n-k}

スターリングの公式を使って階乗をなくす

整理して

$ = \frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}} \frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}

前半部について

この式の前半部

$ \frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}}

が

$ \frac{1}{\sqrt{2\pi n p q}}

になることを示す。

$ \frac{e^{-n} \sqrt{2\pi n} }{ e^{-k} \sqrt{2\pi k} \cdot e^{-(n-k)} \sqrt{2\pi (n-k)}}

$ = \frac{\sqrt{2\pi n} }{ \sqrt{2\pi k} \cdot \sqrt{2\pi (n-k)}}

$ = \frac{\sqrt{n} }{ \sqrt{2\pi k (n-k)}}

$ = \frac{1}{ \sqrt{2\pi n \frac{k}{n} \frac{n-k}{n} }}

$ \approx \frac{1}{ \sqrt{2\pi n p q }}

これで得たい式の前半部が出た

別解

再掲

$ P(X=k) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}

後半部について

式の後半部

$ \frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}

が

$ \exp\left\{ - \frac{(k - np)^2}{2npq} \right\} = \exp\left\{ -\frac{x^2}{2} \right\}

になることを示す。

まずexpの形にしてみる

$ \frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}

$ = \frac{n^k \cdot n^{n-k}}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k}

$ = \left( \frac{np}{k} \right) ^ k \cdot \left( \frac{nq}{n - k} \right) ^ {n - k}

$ = \exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \cdot \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}

$ = \exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \right\} + \log\left\{ \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}

$ \frac{k}{np} = \frac{np + x\sqrt{npq}}{np} = 1 + x \frac{q}{\sqrt{np}}

$ \frac{n - k}{nq} = \frac{n - np - x\sqrt{npq}}{nq} = \frac{n(1 - p) - x\sqrt{npq}}{nq} = \frac{nq - x\sqrt{npq}}{nq} = 1 - x \frac{p}{\sqrt{nq}}

代入すると

$ \exp\left\{ \log\left\{ \left( \frac{np}{k} \right) ^ k \right\} + \log\left\{ \left( \frac{nq}{n - k} \right) ^ {n - k} \right\} \right\}

$ = \exp\left\{ -k \log\left( \frac{k}{np} \right) + (k - n) \log\left( \frac{n - k}{nq} \right) \right\}

$ = \exp\left\{ -k \log\left( 1 + x \frac{\sqrt q}{\sqrt{np}} \right) + (k - n) \log \left( 1 - x \frac{\sqrt p}{\sqrt{nq}} \right) \right\}

$ \log(1+x) \approx x - {1 \over 2} x^2

$ \log(1-x) \approx -x - {1 \over 2} x^2

これを使って

$ \exp\left\{ -k \log\left( 1 + x \frac{\sqrt q}{\sqrt{np}} \right) + (k - n) \log \left( 1 - x \frac{\sqrt p}{\sqrt{nq}} \right) \right\}

$ \approx \exp\left\{ -k \left( x \frac{\sqrt q}{\sqrt{np}} - \frac{x^2q}{2np} \right) + (k - n) \left( -x \frac{\sqrt p}{\sqrt{nq}} - \frac{x^2 p}{nq} \right) \right\}

kを消す

$ k = np + x\sqrt{npq}

$ k - n = np + x\sqrt{npq} - n = n(p - 1) + x\sqrt{npq} = -nq + x\sqrt{npq}

上記の各項を展開するが、この時xの3次の項は無視する

$ -(np + x\sqrt{npq}) \left( x \frac{\sqrt q}{\sqrt{np}} - \frac{x^2q}{2np} \right) \approx -\left( x \sqrt{ npq} + x^2q - \frac{x^2q}{2}\right)

$ (-nq + x\sqrt{npq}) \left( -x \frac{\sqrt p}{\sqrt{nq}} - \frac{x^2p}{2nq} \right) \approx \left( x \sqrt{ npq} - x^2p + \frac{x^2q}{2}\right)

この2つを足すので

$ -\left( x \sqrt{ npq} + x^2q - \frac{x^2q}{2}\right) + \left( x \sqrt{ npq} - x^2p + \frac{x^2q}{2}\right)

$ = - \frac{x^2q}{2} - \frac{x^2q}{2}

$ = - \frac{x^2}{2}

よって2次の近似で下記が成り立つことが示された

$ \frac{n^n}{k^k \cdot (n-k)^{n-k}} p^k q^{n-k} \approx \exp\left\{ -\frac{x^2}{2} \right\} = \exp\left\{ - \frac{(k - np)^2}{2npq} \right\}

別解(途中で心折れた)

$ \frac{\sqrt{n} }{ \sqrt{2\pi k (n-k)}} = \frac{\sqrt{n} }{ \sqrt{2\pi (np + x\sqrt{npq})(nq - x\sqrt{npq})}}

$ = \frac{\sqrt n}{\sqrt{2\pi n^2 (p + n\sqrt{pq}/\sqrt n )(q - x\sqrt{pq}/\sqrt n ) }}

$ = \frac{1}{\sqrt{2\pi n (p + n\sqrt{pq}/\sqrt n )(q - x\sqrt{pq}/\sqrt n ) }}

$ = \frac{1}{\sqrt{2\pi n p (1 + n\sqrt{q}/\sqrt{np} ) q (1 - x\sqrt{p}/\sqrt{nq} ) }}

$ = \frac{1}{\sqrt{2\pi n p q (1 + x\sqrt{q}/\sqrt{np} ) (1 - x\sqrt{p}/\sqrt{nq} ) }}

この式をAと置く。Aの対数をとる

$ \log A = -\frac{1}{2} \left\{ \log(2\pi npq) + \log(1 + B) + \log(1 - C)\right\}

$ \log(1 + B) + \log(1 - C) = B / (1 + \theta B) - C / (1 - \theta' C)

この値の絶対値の取りうる範囲について考える

ref