情報量
$ \frac{1}{log(x)}
そのニュース（新しく分かったこと)は、どれくらいの価値があるか？
珍しいことのが価値があるので、起こる確率の逆数にすればよい。 加法性を考えると、logにするのがよい(ここは、理解が間違ってると思うけど、正しい説明がわからない..)
同時確率と情報量の加法性
情報量を $ \frac{1}{log(x)} = log(-x)としたことで、
ある２つの事象を観測した際の
同時に起こるモデル上?の確率 $ \frac{1}{P(x)P(y)},これは積(直感どおりだけど、、なぜ積かは..)
同時に観測したときの情報量の和, log(-p(x)P(y))
となり、情報量の和と同時確率の積が対応(表現が分かってない風だ..)してる。
２つ情報を得たとき、その２つを合わせた情報量はどれほどか？、情報の加法性を考えよう 結局２ｂｉｔの情報があれば４つの場合を区別できることになる
xlogxは、0 x -無限大 になり、 -> 0
対数関数よりも多項式のほうが影響力が強いと覚えてる
xlogxのグラフ 情報量では、xがP(X)として考えて、0~1の範囲, 底が2で考えるから、かわってくるけど、(1/2, -1/2)
https://gyazo.com/9f6c6fe173ec4e0a84f7dc594d65a03a
起きる確率が、1/e だと、得られる情報量としては最小になる。
ではなく、これにマイナスをつけて評価するので、1/eだと最大で、0,1のとき(当然な結果)のとき最小、というか情報は得られない。