情報量
https://logics-of-blue.com/information-theory-basic/
なぜ
log
なのかが分かりやすい
以下の2つの要請を満たす「情報量」を定義しましょう。
1:発生する確率が低いこと(珍しいこと)が分かった時のほうが、情報量が多い
2:情報量は足し算で増えていく。