1次エントロピー
#情報理学I
#エントロピー
記憶のない情報源
$ S
について、出力された記号の情報量の期待値のことをいう。以下の式で表される。
$ H_1(S) = -\Sigma_{x_i\in A} p_i\log_2 p_i
[bit]
2020/2/23
エントロピーは、確率変数
$ x
の値を伝えるために必要な平均のビット数の下界である