条件付きエントロピー

天気予報を聞いて情報エントロピーが減少すれば、予報に価値があるといえる。

$ H(X|Y) = \Sigma_{y\in Y} p(y)H(X|Y=y)

$ =-\Sigma_{y\in Y}p(y) \Sigma_{x\in X} p(x|y)\log_2p(x|y)

後ろのシグマを展開すると

$ p(x=0|y)\log_2p(x=0|y) + p(x=1|y)\log_2p(x=1|y)

だから全体は

$ -p(Y=0)p(X=0|Y=0)\log_2p(X=0|Y=0) -p(Y=0) p(X=1|Y=0)\log_2p(X=1|Y=0)

$ - p(Y=1)p(X=0|Y=1)\log_2p(X=0|Y=1) -p(Y=1) p(X=1|Y=1)\log_2p(x=1|Y=1)

一方

$ H(Y|X) = \Sigma_{x\in X}p(Y=y)\Sigma_{y\in Y}p(y|x)\log_2p(y|x)

なので

$ -p(X=0)p(X=0|Y=0)l\log_2p(X=0|Y=0)-p(X=0)p(X=0|Y=1)\log_2p(X=0|Y=1)

$ -p(X=1)p(X=1|Y=0)\log_2p(X=1|Y=0) - p(X=1)p(X=1|Y=1)\log_2p(X=1|Y=1)