KL距離 - main-custard

KL距離

定義: $ \text{KL}(P \parallel Q) = \sum_{i,j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

カルバック・ライブラー

cf.

連続な場合と離散の場合の式がある

logは小さい値を大きく扱うために使う. コンピュータ的にも計算で都合が良い

分布がどれくらい近いかを表している

qが別の分布

要素ごとにP, Qの情報量の差を出し, 確率p_ijについての期待値を計算する