情報源符号化定理
情報源にいかなる可逆圧縮性を持つ符号化を施しても、圧縮後の情報エントロピーが情報源の情報エントロピーを下回ることがない
#CTODO この証明が知りたい -> した
情報エントロピーと平均符号語長の差をとって、クラフトの不等式および$ x-1 \leq \log xを利用すると証明できる。