カルバック・ライブラー情報量(ダイバージェンス）
ダイバージェンス
とも言われる。
定義 (KL情報量)
離散確率分布$ P, Q(事象の数は等しく$ n)に対して、カルバック・ライブラー情報量 $ D (P||Q)を次の式で定義する
$ D(P||Q) = \sum_{i=1}^n p_i\log\frac{p_i}{q_i}
意味
確率分布Qが情報を得てPに変化したときの得られる情報量の期待値を表す
PとQの差異の程度を表す指標とも言える
性質
$ D(P||Q) \ge 0
PとQが等しい時、またその時に限り$ 0
PとQの差異の程度を表す指標になっている
ただし、距離の公理を満たすわけではない(対称的ではないので) エントロピーの一般か
Qを一様分布とすると$ \log n - H(P)になる
エントロピーを「一様分布との差」と解釈できる
エントロピーはKL情報量の特殊な場合であるとも言える