相互情報量
https://gyazo.com/13a8934c08d86172af393ae2702a3f3d
$ X, Yが独立でないとき、$ H(X, Y) = H(X) + H(Y)は一般には成り立たない。
$ X\cap Yがあるから
この重なりのことを相互情報量(mutual information)と呼ぶ。
以下の等式が成り立つ。
$ H(X, Y) = H(X) + H(Y) - I(X, Y)
変形して、以下の式が相互情報量の定義式となる
$ I(X,Y) = H(X) + H(Y) - H(X, Y)