熱力学のエントロピーと情報理論のエントロピー

情報理論のエントロピーフォン・ノイマンに示唆された名前であると伝えられている

クラウジウス 1865

$ dS = \frac{dQ}{T}

断熱系において不可逆変化が生じた時系のエントロピーは増大する

$ S = k\log W

これは情報理論的エントロピーの定数倍になることを導出できる