Bayesの定理

from 読書メモ | 『測度論からの数理統計学』

簡単な表現

任意の確率空間$ (\Omega,\mathcal F,P)にて、次が成り立つ

$ \forall A,B\in\mathcal F:P(B)>0\implies P(A|B)=\frac{P(B|A)P(A)}{P(B)}

証明

$ P(A|B)=\frac{P(A\cap B)}{P(B)}

$ = \frac{P(A\cap B)}{P(A)}\frac{P(A)}{P(B)}

$ =\frac{P(B|A)P(A)}{P(B)}

用語

$ P(A)：$ Bが起きる前の$ Aの事前確率

$ P(A|B)：$ Bが起きた後での$ Aの事後確率

$ Bが与えられたときの$ Aの条件付き確率と同義

確率分布にすると、それぞれ事前分布,事後分布になる

$ P(B)：規格化定数以上の意味を持たない

$ P(B|A)：尤度

条件が$ Aであった時にデータ$ Bを得る確率$ P(B|A)と$ P(A)がわかれば、$ Bを得たとき条件が$ Aであった確率を推定できる

全確率の法則を組み込んだ表現

任意の確率空間$ (\Omega,\mathcal F,P)にて、次が成り立つ

$ \forall A_\bullet:\N\to\mathcal F\forall B\in\mathcal F:

$ \begin{dcases}\Omega=\bigcup_{n\in\N}A_n\\\forall i,j\in\N:A_i\cap A_j=\varnothing\\\forall n\in\N: P(A_n)>0\\P(B)>0\end{dcases}\implies\forall n\in\N:P(A_n|B)=\frac{P(B|A_n)P(A_n)}{\sum_{m\in\N}P(B|A_m)P(A_m)}

$ P(A_n|B)=\frac{P(A_n\cap B)}{\sum_{m\in\N}P(A_m\cap B)}とも書けるtakker.icon

$ \Omega=\bigcup_{n\in\N}A_n\land\forall i,j\in\N:A_i\cap A_j=\varnothingのとき、$ A_\bulletは$ \Omegaの分割という

集合を分割

$ P(A|B)：$ Bが与えられた時の$ Aの条件付き確率

証明$ \forall A_\bullet:\N\to\mathcal F\forall B\in\mathcal F:

$ \begin{dcases}\Omega=\bigcup_{n\in\N}A_n\\\forall i,j\in\N:A_i\cap A_j=\varnothing\\\forall n\in\N: P(A_n)>0\\P(B)>0\end{dcases}

$ \implies\forall n\in\N:

$ P(A_n|B)=\frac{P(A_n\cap B)}{P(B)}

$ =\frac{P(A_n\cap B)}{P(\Omega\cap B)}

$ =\frac{P(A_n\cap B)}{P\left(\bigcup_{m\in\N}A_m\cap B\right)}

$ =\frac{P(A_n\cap B)}{\sum_{m\in\N}P\left(A_m\cap B\right)}

$ \because完全加法性、$ \forall i,j\in\N:A_i\cap A_j=\varnothingより$ \forall i,j\in\N:(A_i\cap B)\cap(A_j\cap B)=\varnothing

$ =\frac{P(B|A_n)P(A_n)}{\sum_{m\in\N}P(B|A_m)P(A_m)}

$ \because\forall m\in\N:P(A_m)>0\land P(B)>0

$ \underline{\therefore\forall A_\bullet\N\to\mathcal F\forall B\in\mathcal F:\begin{dcases}\Omega=\bigcup_{n\in\N}A_n\\\forall i,j\in\N:A_i\cap A_j=\varnothing\\\forall n\in\N: P(A_n)>0\\P(B)>0\end{dcases}\implies\forall n\in\N:P(A_n|B)=\frac{P(B|A_n)P(A_n)}{\sum_{m\in\N}P(B|A_m)P(A_m)}\quad}_\blacksquare