条件付きエントロピー
定義
$ X = x_iの時$ Yのエントロピー
$ H(Y|x_i) = -\sum_{j=1}^JP(y_j|x_i)\log{P(y_j|x_i)}
を用いて、分布$ (X,Y)の条件付きエントロピー$ H(Y|X)を次の式で定義する
$ H(Y|X) = \sum_{i=1}^I P(x_i)H(Y|x_i)
$ = -\sum_{i=1}^I \sum_{j=1}^JP(x_i)P(y_j|x_i)\log{P(y_j|x_i)}
$ H(Y|X) = H(X \cap Y) - H(X)
また
$ H(X \cap Y) = H(Y|X) + H(X) = H(X|Y) + H(Y)