情報量
Keywords
Claude E. Shannonは情報を確率を用いて数学的に定義した 発生確率が低いほど情報量は大きいと考えた
犬が人を噛んでもニュースにはならないが、人が犬を噛んだらニュースになる John B. Bogart
定義
事象$ xの発生確率が$ P(x)である時の情報量を次のように定義する
$ I(x) = -\log P(x)
底は2として、情報量をbitと言う単位で数えることにする
なぜ対数で定義するのか
情報量が非負になって都合が良い
独立した2つの事象の積事象に対して、その情報量は2つの事象の情報量の和となる
積の情報量は情報量の和