情報量
2種類ある多義語になってしまってる。
terms:
en: self-information
aka. 情報量？自己エントロピー？
性質
量なので quantity である。
unit がある。
どちらも log を使って定義されてるため、底によって quantity の unit と magnitude が変わる。
背景
どちらも基本的には離散的なコト（event）しか あつかえない。
連続版への拡張をガンバってる人たちが いる。
unit の底 に対応する magnitude の定義
$ I_b(E) \coloneqq -\log_b(p(E))
E: 事象 (event)
p: 確率測度
b: 底
まだ確率変数を導入してない。
これは測度論的定義
$ I_{X,b}(x) ≔ -\log_b(f_X(x)) = -\log_b(p(X^{-1}(\{x\})))
確率変数版
型: $ I: \mathrm{cod}(X) \to \R = M \to \R
X: 離散型確率変数
型: $ X: Ω \to M
その値 x ∈ cod(X) = M
b: 底
f: 確率分布でなく PMF
p: もとの確率空間の確率測度
完全事象系の確率だけで定義する版がある。
全事象の分割と確率測度だけで定義することも。
確率変数↓
$ H(X) \coloneqq \mathbb{E}[I(X)] = \mathbb{E}[I_{X,b}(X)]
X: 離散型確率変数
型: $ Ω \to M
b: 底
I: 確率変数版の自己情報量の関数
型: $ H: (Ω \to M) \to \R
定義の前提
測度論的定義
確率空間 (Ω, Σ, μ) で考える。
event: A ∈ Σ
surprisal
def. $ σ_μ(A) ≔ -\ln(μ(A))
expected surprisal
def. $ h_μ(A) ≔ μ(A) \, σ_μ(A)
$ = μ(A) \cdot -\ln(μ(A)) = -\ln(μ(A)^{μ(A)}) = \ln(μ(A)^{-μ(A)})
下記の期待値の積和の個々の積に相当する。
μ-almost partition P の entropy
def. $ H_μ(P) ≔ Σ\{h_μ(A)\}_{A∈P}
where P is an almost partition of Ω s.t. $ μ(∪P) = 1, A≠B⇔μ(A∩B) = 0
μ-measurable almost-partition?
ja: 「μ-概分割」程度か？
cf. μ-概収束
一般化
微分エントロピー
連続型確率変数に対応する拡張版
$ H(X) \coloneqq \mathbb{E}[I(X)] = \mathbb{E}[-\log_b f(X)]
X: 連続型確率変数
f: PDF of X
b: 底
可測空間とσ-加法族のエントロピー
supremum で定義する。
ref.
μ-almost partition や measurable almost-partition でも定義できるらしい。