2項エントロピー

定義

$ H(p) = -p \log p - (1-p)\log (1-p)

「曖昧さの指標」に期待される性質

必ず表が出るコインの曖昧さは低い

表と裏が半々で出るコインの曖昧さは大きい

中間的な場合はその中間的な曖昧さになる