KLダイバージェンス
分布 $ p(x), q(x) がそれぞれどの程度似ているかを測る指標
$ KL(p||q) = \int_{-\infty}^{\infty}p(x)\ln \frac{p(x)}{q(x)}dx
特徴
1. 対称性がない
2. それゆえ, 距離ではなく「擬距離」と呼ばれるらしい
対称性を持たせるために左右反転したものの平均を取ることがある
$ D_{JS}(p||q) = \frac{KL(p||q) + KL(q||p)}{2}
これをJSダイバージェンスと呼ぶらしい