1次エントロピー
#情報理学I #エントロピー
記憶のない情報源$ Sについて、出力された記号の情報量の期待値のことをいう。以下の式で表される。
$ H_1(S) = -\Sigma_{x_i\in A} p_i\log_2 p_i [bit]
2020/2/23
エントロピーは、確率変数$ xの値を伝えるために必要な平均のビット数の下界である