自己情報量
確率 $ p_1, p_2, p_3, ... , p_n で独立に発生する事象の集合 $ S = \{S_1, S_2, ... , S_n\} について、
確率 $ p_i で起きる事象 $ S_i が起きたという情報の自己情報量 $ I(p_i)は以下のように定義される
$ I(p_i) = - \log_2{p_i} (bit)
j0hnta0.icon この定義だと、$ p=0 のときを定義できないのでは？真数条件から $ p > 0なので
j0hnta0.icon確率0に右から近づいていくとの情報量は無限大に発散する
j0hnta0.iconp=0は未定義と考えると直感的にも確かに納得行く
https://gyazo.com/dfc517cae19dd8b88bdaf68cbfb29ad6