条件付きエントロピー
天気予報を聞いて情報エントロピーが減少すれば、予報に価値があるといえる。
情報源$ Yの出力を知ったときに、情報源$ Xの出力が持つ平均情報量として条件付きエントロピーを以下のように定義する
$ H(X|Y) = \Sigma_{y\in Y} p(y)H(X|Y=y)
$ =-\Sigma_{y\in Y}p(y) \Sigma_{x\in X} p(x|y)\log_2p(x|y)
後ろのシグマを展開すると
$ p(x=0|y)\log_2p(x=0|y) + p(x=1|y)\log_2p(x=1|y)
だから全体は
$ -p(Y=0)p(X=0|Y=0)\log_2p(X=0|Y=0) -p(Y=0) p(X=1|Y=0)\log_2p(X=1|Y=0)
$ - p(Y=1)p(X=0|Y=1)\log_2p(X=0|Y=1) -p(Y=1) p(X=1|Y=1)\log_2p(x=1|Y=1)
一方
$ H(Y|X) = \Sigma_{x\in X}p(Y=y)\Sigma_{y\in Y}p(y|x)\log_2p(y|x)
なので
$ -p(X=0)p(X=0|Y=0)l\log_2p(X=0|Y=0)-p(X=0)p(X=0|Y=1)\log_2p(X=0|Y=1)
$ -p(X=1)p(X=1|Y=0)\log_2p(X=1|Y=0) - p(X=1)p(X=1|Y=1)\log_2p(X=1|Y=1)