情報量
エントロピー entropyは、
情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。 ありふれたできごとが起こったことを知ってもそれはたいした「情報」にはならないが、 逆に珍しいできごと(たとえば「曲の演奏」)が起これば、
それはより多くの「情報」を含んでいると考えられる。
ビット的に言えば、
「特異な並び」とも言える
情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、
あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、
情報と意味は本質的に異なるものである。
つまり情報概念は意味概念を内包する。
『情報と秩序』
での解釈は、「情報理論的な情報と意味は関連がなく。単にその事象が起きる確率の問題である。