情報理学I 2019/4/18
前回の復習
情報とは
確率 $ p_1, p_2, p_3, ... , p_n で独立に発生する事象の集合 $ S = \{S_1, S_2, ... , S_n\} について、どの事象が起きるのかの情報が確率以外にないとき、情報とはこの不確実性を減少させるもののことをいう。
自己情報量
↑の状態において、確率 $ p_i で起きる事象 $ S_i が起きたという情報の自己情報量は以下のように定義される $ I(p_i) = - \log_2{p_i} (bit)
https://gyazo.com/dfc517cae19dd8b88bdaf68cbfb29ad6
情報源とは
アルファベット
一般に $ n 個の記号 $ A = {x1, ..., xn} からなる集合をアルファベットという アルファベットの大きさを $ |A| で表す