通信路符号化定理
誤りのある通信路と相互情報量
における相互情報量について考える
相互情報量は、送信側Xにおいて、データWをXに符号化する方式に依存する(XとYの同時確率分布で決まることを考えればわかる)
あらゆるXの確率分布を考えたときの、相互情報量の最大値を
「通信路容量」
と呼ぶ
通信路符号化定理
情報を欠損なく送ることができる最大の容量が通信路容量であること
通信路容量を超えない速度であれば、符号化方式を工夫することにより、誤り確率をいくらでもちいさくすることができる
ことが知られている。
厳密な表現は（？）
情報理論