ベルヌーイ分布に対するベイズ推定とベータ分布の関係

用語の定義

ベルヌーイ分布

ベルヌーイ分布は、ある試行が「成功（1）」または「失敗（0）」のいずれかの結果をとるとき、その結果の確率を表す離散確率分布です。成功の確率を ( P ) とすると、確率質量関数は以下のように書けます：

$ \Pr(X = x) = P^x (1 - P)^{1 - x}, \quad x \in {0, 1}

ベータ分布

$ f(P) = \frac{1}{B(\alpha, \beta)} P^{\alpha - 1} (1 - P)^{\beta - 1}

ベイズ推定

ベイズ推定は、観測されるデータと事前の信念（事前分布）を組み合わせて、確率的な推定を行う方法です。観測データの尤度と事前分布を用いて、パラメータの事後分布を求めます。ベイズの定理により、以下の関係が成立します：

$ \text{事後分布} \propto \text{尤度} \times \text{事前分布}

ベルヌーイ分布における確率Pの推定

ベータ分布に従う信念の更新

$ \text{尤度} = P^s (1 - P)^f

事後分布は、ベイズの定理に従って以下のように更新されます：

$ \text{事後分布} \propto P^{\alpha - 1} (1 - P)^{\beta - 1} \cdot P^s (1 - P)^f = P^{\alpha + s - 1} (1 - P)^{\beta + f - 1}

これは再びベータ分布の形となり、更新後の事後分布は以下のようになります：

$ \text{事後分布} = \text{Beta}(\alpha + s, \beta + f)

信念の平均(推定された確率P)

$ \mathbb{E}[P \mid \text{data} = \frac{\alpha + s}{\alpha + \beta + s + f}

$ \mathbb{E}[P \mid \text{data} = \frac{s+1}{s + f + 2}