平均符号長
#情報の圧縮
1記号あたりの平均符号長$ Lは次の式で定義される:
$ L = \sum_{i=1}^M l_i p_i
ここで、
$ p_iは情報源記号$ a_iの生起確率
$ Mは情報源記号の種類の数
$ l_iは情報源記号$ a_iに対応する符号語の符号長
記号の生起確率が平均符号長を左右する＝情報源記号の確率分布に依存する量であることが大事
平均符号長はいくらでも短くできるのだろうか？→NO.
#情報源符号化定理