ベイズ確率
Bayesian probability
参考
事前の信念や情報を考慮に入れた確率の解釈
新しい証拠が得られたときに確率を更新するために、ベイズの定理を使用する 時間逆行のイメージは分かりやすいmrsekut.icon
https://youtu.be/mX_NpDD7wwg?si=yos3-k6B12Z4OhuN&t=673
時間巡行なものは、普通に条件付き確率で求められる
ベイズ確率が必要になるときは、たいてい時間逆行、と捉えておくとわかりやすい
こういう状況を想定している
本当に知りたいことは、最初から存在している確率$ X(原因・過去)である
しかし、我々はその$ Xを直接的に知る方法がなく、神のみぞ知る状況である
なので、実際に観測した結果・現在である$ Yを使うことで、間接的に$ Xを推定したい
$ Yが起きたうえで、確率が$ Xになる条件付き確率$ P(X\mid Y)を求める
現在の事象$ Yから、過去のこと$ Xを求めるので、時間が逆行している
一応注意
$ Xは確率を表している
$ X自体が確率
$ P(X=x)は、確率$ Xが$ xになる時の確率
$ Yは事象の観測値を表している
もちろん$ Y自体は確率ではない
本当に知りたいのは$ Xであって、$ P(X)ではないmrsekut.icon
具体例
コインの表が出る確率$ Xを求めたい
しかし現実世界では、眼の前にあるそのコインの「表に出る確率$ X」はわからない
理想世界で、裏表が出る確率が同様に確からしいと仮定するなら$ \frac{1}{2}と仮定できる
しかし、眼の前にあるコインは、汚れなどの影響で偏りがあるかもしれない
この確率$ Xは我々にはわからないが、神視点ではすでに決まっているだろう
そこで、実際にコインを投げた結果$ Yを使って、
$ Yがわかった時の、$ Xを推定できる情報を求めたい
これを、$ P(X\mid Y)と解釈する
$ Y_1=表だった
それを使って、$ P(X|Y)を求める
$ Y_2=表だった
それを使って、更に$ P(X|Y)を更新する
$ Y_3=裏だった
それを使って、...
といった感じで、コインを投げるたびに確率を更新していくことで、$ P(X|Y)を推定する
病気の有無$ Xと検査の結果$ Y
病気の有無というのは、検査の結果から判断される
検査の結果を観察して、真陽性率とかを鑑みて、何%の確率で病気ですねと判断できる
https://gyazo.com/6b9c34d573331b84819ae2e70fa18329
観測できるのは$ P(Y\mid X)である
神のみぞ知る$ Xが設定されている世界での$ Yが起こる確率
従って、$ P(Y\mid X)は既知である
これに対して、ベイズの定理を適用することで、本当に知りたい$ P(X \mid Y)を求める また、分母の$ P(Y)は、分子$ P(Y|X=x)P(X=x)を周辺化することで得られる $ P(Y)=\int P(Y|X=x)P(X=x)dx
なのであんまり気にしなくて良い
残る$ P(X\mid Y)と$ P(X)がポイントである
新しく$ Yを観測するたびに、
前回のベイズ確率$ P(X)が、新しい$ P(X\mid Y)に更新される
そのため、
$ N=2以降の$ Y_Nについては、上記を繰り返して更新していけば良い
$ P(X\mid Y=D)=\frac{P(X)\Pi^N_{i=1}P(Y=y_i\mid X)}{P(Y=D)}
($ D=y_1,y_2,\cdots,y_N)
解釈は2種類あるが結果となる式は同じ
では、初回の事前確率$ P(X)はどう設定するか？が問題になる
ここに主観が入る
初回の事前確率の設定
事前確率の制約
起こり得る全ての$ Xに対して、$ P(X)が0にならない
0だと、その後の更新に関係なく、ずっと結果が0になってしまうので
↑この制約を満たすなら、なんでも良い
試行を多くすれば同じ結果に収束する
問題設定にあった分布を選択することで、計算を楽にしたりできる
初期の事前分布が$ \text{Beta}(x;\alpha,\beta)で、
その後、
表が出れば$ \text{Beta}(x;\alpha+1,\beta)のように$ \alphaが1増え、
裏が出れば$ \betaが1増え、
という調子で更新される
GPT-4.iconが$ P(Y)のことを正規化定数と呼んでたけどそうなの #?? 周辺化と正規化定数の理解が甘いので合ってるかわからないmrsekut.icon