エントロピーの定義・意味・性質
エントロピーとは何か
不確定さ・曖昧さの指標
情報量の期待値としてのエントロピー
事象$ a_iを観測して得られる情報量$ I(a_i)は、
$ I(a_i) = -\log P(a_i)
情報源$ Aを観測して得られる情報量の期待値$ H(A)をエントロピーと呼び、次の式で定義する
$ H(A) = \sum_i p_iI(a_i)
情報量の大きい事象は生起する確率が小さい事象でもあるのでエントロピーへの寄与が小さい→滅多に起きないことはエントロピーにあまり影響しない
曖昧さの指標としてのエントロピー
「曖昧さの指標」に期待される性質
必ず表が出るコインの曖昧さは低い
表と裏が半々で出るコインの曖昧さは大きい
中間的な場合はその中間的な曖昧さになる