雑音のある通話路の基本定理
容量$ Cの通信路と、1秒あたり$ Rのエントロピーをもつ情報源があるとき、
$ R \lt Cならば、情報源の情報をこの通話路を通して、任意に小さい誤り確率で送れるような、符号化が存在する。
Shannonはこの証明にあたってrandom符号というアイディアを使ったらしい。
これが情報理論の中心的な成果であるといってよい。「雑音の混入がさけられない通話路で、誤りのない通信ができる、しかもその時の情報伝送速度をCまで高められる」、このShannonの命題は一見常識に反する事柄であり、通信理論に携わる人々が「あっ」と言ったのも無理はない。なにしろ、雑音はたちの悪いもので、確率的に出てくるのだから、どうにも制御のしようがないものと思われていたからである。しかし、雑音とて大数の法則には逆らえないのであり、これを利用して誤りのない伝送ができるのである。