平均情報量
情報量
に確率を掛けたものの
期待値
。文字通り。
情報量が 確率の逆数の対数なので、、
2乗や累乗ではないが、
$ \frac{P(x)}{log(P(x))}
P(x)は確率なので、0~1の範囲で、0/log(0)は(0に近づく)
掛け算の和
確率 ログ確率の逆数