エントロピー

熱力学における定義

統計力学における定義

情報理論における定義

比喩

エントロピーが高いとは

場が混沌としている（場の傾向を一意に or 単純に決定できない）

取りうる値が多い（情報量が多い）

値一つ一つの発生確率が低いことから「確率が高い」みたいな表現もする

レアいことも起きる（同じことばかり起きるのではなく）

事象一つ一つよりも、事象全体が含まれた場の性質を指す

新語時事用語辞典

熱力学

熱力学において、熱は必ず温度の高いものから低いものへと伝わっていく。たとえば、熱くなった鉄に氷を乗せれば、氷が溶けるのは自明の理である。その逆はないので、熱の移動は「不可逆性をともなう現象」と定義される。この不可逆性がどれだけ強いのかを、数値で表すために発見された概念がエントロピーである。

エントロピーが高くなればなるほど、「不可逆性が強い」

可逆性のある現象については、エントロピーが「0」とされる

エントロピーがマイナスになることはない。

不可逆性の強さ

統計力学

現象によっては明確な法則性を含んでおらず、混沌にしか見えないことも少なくない。こうした混沌性、不規則性を数値で表すために応用されたのが、熱力学のエントロピーである。そして、統計力学のエントロピーと大きく関係しているのが「小正準集団」である。

統計データをグラフにしたとき、関知しにくいほど小さい集団が小正準集団である。小正準集団の多いグラフほど、その混沌性は高い。

小正準集団の状態数から、はっきりと確認できる力学の潜在値を導き出す方法が「ボルツマンの公式」となる。原則的に、小正準集団が多くなれば、それだけエントロピーの値も大きくなると考えてよい。

「関知しにくいほど小さい集団」の多さ

情報理論

クロード・シャノンさん

おおまかな解釈として、情報理論のエントロピーは「分からない部分の大きさ」を示している。分からない部分が多いほど、情報量は大きくなる可能性を秘めている。一方、分からない部分が少ない情報量は、大きくなる可能性が切り捨てられてしまっている。なお、ある出来事自体に含まれている情報量を「自己エントロピー」と呼ぶのに対し、平均情報量は単に「エントロピー」といわれることが多い。

情報量（取りうる値の広さ・深さ・多様性）

エントロピーとは、ある巨視的状態を「微視的に見た場合の乱雑さ」であり、これが増加するというのは多数の微視的状態からなる巨視的状態、つまり確率の高い状態に移行するということである。