相互情報量

事象が独立でな場合には片方の情報量にもう一方の事象の情報量が含まれる

定義

$ I(Y;X) = H(Y) - H(Y|X)

対称性

$ I(Y;X) = I(X;Y)

https://gyazo.com/10a80891539e87749b47fb8598810416