通信のモデル
ToC
通信モデル
送信者がどんな特性の情報を送るか
情報伝達メディアがどんな特性を持つのか
送信者→情報源
情報伝達メディア→通信路
受信者→到達先
多くの情報を送るにはどうするか
情報を正しく送るにはどうするか
雑音の影響
通信路に雑音源がついていることで表す
誤りのある通信路
誤りのある通信路
情報源Aについての元々のエントロピーから、受信記号Bを受け取った条件下でのAのエントロピーの差だから
曖昧度と散布度
曖昧度$ H(A|B) $ b_jの原因となる情報源記号のエントロピー
散布度 $ H(B|A) $ a_iの結果として生じる可能性のある受信記号のエントロピー
情報源のモデル
しばしば定常性とエルゴード性を仮定する
定常性
記号系列の確率分布が時間をずらす変換によって変化しないこと
エルゴード性
事象が発生する確率を長時間観測するとある確率に収束する
十分長い時間を取ればどの部分を選んでも統計的には同じ性質を持った記号系列が得られる
記憶のない情報源
記号の間に相関を持たない
現実とは違うがあつかいやすい
それぞれの情報源記号の生起確率の積
マルコフ情報源
現在が過去の履歴に依存する
m重マルコフ情報源
記号出力の影響を受ける範囲が直前の$ m個の記号に限定され、それ以前の時点に発生した記号には影響を受けない
状態遷移図で