平均符号語長

情報源$ Sの出力記号$ a_1, a_2, ..., a_nの出現確率をそれぞれ$ p_1, ..., p_nとする

この記号を$ a_jを、一意復号可能な$ Cで符号化した2元符号語$ C(a_j)の符号語長を$ l_jbit とする

符号の長さの平均は

$ \bar{L} = \Sigma_{j=1}^n p_jl_j bit

平均符号長を短くすることで、効率よく情報を伝達できる

平均符号長の下限

https://gyazo.com/c7e0bb89023feb9af25ee3f631421b15

/icons/hr.icon