エントロピー考
蒸気機関やガソリンエンジンの原理
熱エネルギーを運動エネルギーに変換する原理は、以下の通りである。
①燃料を燃やし、高温熱源を作る
②高温熱源をシリンダーに接触させる
③気体が膨張し、ピストンを押し上げる
④低温熱源によって圧力を下げる
⑤シリンダーが下がる
ここでエンジンは、高温熱源から低温熱源への熱交換を行っている、と見なせる。
高温の熱源が熱く、低温の熱源が冷たいほど、熱から運動へのエネルギー変換効率は、高くなる。
熱が余計な場所に伝わらずに、熱源同士でのみやりとりされると、熱から運動へのエネルギー変換効率が、高くなる。
人間の欲望は無限集合であるから、より高い効率を求めるようになるのは必然の成り行きであった。こうした話から考案されたのが、カルノーサイクルと呼ばれる思考実験である。（1824年）
カルノーサイクルとは、熱交換効率を最大化する、夢の、究極のエンジンの原理である。絶対零度の低温熱源を用意する、等の、(現実的には不可能な)条件が揃えば、第二種永久機関が完成する。
https://gyazo.com/59d21f456275e654bae7f6e6992f33dc
①高温熱源によりシリンダに熱を与え、自然に膨張させる（体積V1→V2、温度Th→Th）
②高温熱源から切り離し、断熱状態でゆっくり膨張させる（体積V2→V3、温度Th→Tl）
③低温熱源により冷却し、かつピストンに力をかけて、ゆっくり圧縮する（体積V3→V4、温度Tl→Tl）
④低温熱源から切り離し、断熱状態でゆっくり圧縮する（体積V4→V1、温度Tl→Th）
※①と③における、熱の移動過程によって、運動エネルギーを取り出すことができている
※②断熱膨張と④断熱圧縮は、シリンダと熱源の温度をあわせるためにやっている
※ピストンに力を与えているが、差し引きすれば打ち消し合う
カルノーサイクルの考案から50年ほどくだり、以下の値が一致することに気づいた理論物理学者がいた。
(クラウジウス、1865年)
高温熱源が失ったエネルギーを、その温度で割ったもの（Qh/Th）
低温熱源が得たエネルギーを、その温度で割ったもの（Ql/Tl）
クラウジウスは、この「Q/T」なる物理量に、エントロピー（移りゆくもの）という名前を与えた。
どんな物質も、エントロピーという物理量を持っている。接触した物体の間で熱Qが流れるときには、同時にエントロピーQ/Tが受け渡される。流れ出るエントロピーは、Q/Thであり、流れ込むエントロピーは、Q/Tlである。
熱力学的エントロピーは、以下の関係式で定義される。
https://gyazo.com/d8ca45c90417562f8188f50f1e9326d8
Q（熱量）の次元は エネルギー（J: ジュール）
T（温度）の次元は K（ケルビン）
ここで、高温熱源が渡すエントロピーQ/Thよりも、低温熱源が受け取るエントロピーQ/Tlのほうが、値が大きいことに着目すると、高温熱源と低温熱源が接触する場合、エントロピーの和は、増える一方である、という原理に気づくことになる。
エネルギーは閉鎖系において、一定に保たれる。これを、エネルギー保存則と呼び、エネルギーは保存量と呼ばれるわけだが、エントロピーは、保存量ではない。
エントロピーの増加はエネルギーの散逸（不可逆性）や拡散を示す。そして、エントロピー変化を考慮することで、熱損失や摩擦損失などの非効率の要因の特定が可能になる。つまり、エントロピーという物理量を設計過程に導入することで、設計者は、エンジンの熱効率を向上させ、エネルギー消費の無駄を削減することができる。
ちなみに、冷蔵庫やエアコンは、エンジンにおける熱交換サイクルの逆操作をやっている。
微視的に見る熱、温度、エネルギー、エントロピー
温度とは、熱エネルギーを巨視的に解釈しなければ導出できない物理量である。
どういうことか。
長さ、時間、重さ、といった物理量は、物理空間上、それ以上分解できない基礎的な次元である。ミクロもマクロも関係ない。
しかし、温度はそうではない。水が凍ったり沸騰したりする現象をもとに、人間が恣意的に定義し、それをもとにした計測器を作らないと、測れない。人間は肌感覚によって温度を計っているじゃないかというかもしれないが、しかしそれは、生存の必要性に従って、感覚器を進化させたおかげであって、温度感受性TRPチャネルと呼ばれる一群のイオンチャネルが存在してくれるおかげで、人間は温度を感知している。
ボルツマンは、その気持ち悪さを解決しようとするなかで、分子の運動エネルギーが、温度の正体であると突き止めた。分子の運動エネルギーと、絶対温度の間には、比例関係があると看破した。
気体の温度とはなんぞや、というと、「その気体を構成する粒子がどれぐらい元気に動き回っているかの度合い」だったのである。
https://gyazo.com/a85e898bd5ce7c13a94f03c2f30121b7
この式で、なぜ「平均運動エネルギー」を考えているのかというと、実際の気体を観察すると、みんなおんなじ速度で飛び回っているわけではないからである。
ひとつひとつの粒子は、全体のことなど知らない。ただただ周りの粒子とぶつかり合っているだけである。
ゆえに、個々粒子の速度はバラバラであるが、統計的に見てみると、ある法則性をともなった分布を形成している。
https://gyazo.com/0e6c146c8bbd443f3c0099d12f7cf864
近代科学者たちが偉いのは、この微視的状態をも、どうにか言語化、数式化できないかという探求をやめなかったことである。彼らは、ひとつひとつの分子を追いかけることは、物理的にいって不可能であるが、微視的状態の「取り得る状態の、場合の数」を計算することは可能だ、と、考えた。
量子力学も動員して一生懸命計算すると、みんなだいすきエントロピーの定義式が導出される。
https://gyazo.com/c01a94c92369e218ca7e3ad02c6fb568
（参考）
この定義式にはいろんな書き方があって、よく教科書に良く出てくるのは以下である。
https://gyazo.com/e252db69e7f19eec5be154facd5cd235
kB（ボルツマン定数）の次元は J/K
Ω は無次元（状態数）
※ボルツマン定数の値は、1.38×10^−23
※1個の粒子が1K（ケルビン）の温度を持つとき、そのエントロピーやエネルギースケールがどの程度かを表している
※統計的な微視的記述（状態数）を巨視的な熱力学的記述（エネルギーと温度）へスケール変換する役割 を果たしている
統計力学は、エントロピーとは「取り得る状態の、場合の数」と考える。当たり前だが、エントロピーは気体＞液体＞固体の順で小さくなる。
かたやで幕が上がる情報理論
1937年、シャノンによるマサチューセッツ工科大学での修士論文「リレーとスイッチ回路の記号論的解析」によって、スイッチのオン・オフを真理値に対応させると、スイッチの直列接続はANDに、並列接続はORに対応することが示された。これにより、職人の経験則によって設計されていた電話交換機が、数学的な理論に基づいて設計されるようになった。
シャノンは1948年ベル研究所在勤中に論文「通信の数学的理論」を発表、「情報」が定量的に扱えるように定義し、情報理論なる新たな数学的理論を創始した。本件における代表的な達成の例は、以下の2つであり、それぞれデータ圧縮と誤り訂正符号の基礎理論となっている。
ノイズ（雑音）がない通信路で効率よく情報を伝送するための符号化
ノイズがある通信路で正確に情報を伝送するための誤り訂正符号
シャノンは、以下のコミュニケーション・モデルを考案し、情報源を「確率過程（事象系＝確率試行）」と考えることで、事象と事象系の情報量を定義した。
https://gyazo.com/6fd613470c8c5f5a922734087ecf150b
定義
事象(event)の自己情報量：事象の起こる確率により定義される
事象系(event system)の平均情報量：起こりうる各事象の情報量の期待値
例
事象：1の目が出た。2等が当たった。今日は雪だった……
事象系：サイコロを振る。宝くじを買う。明日の天気……
いま、事象aが確率pで生起するものとする。事象が生起したとき、これが与える情報量I(a)は、
https://gyazo.com/577b0cf708f952ea49556f7bdd001975
で定義される。
これは、その事象が起こったという情報を宛先受信したときに獲得する情報量と考えられる。
この情報量を、事象の自己情報量という。ある事象の情報量は、生起する確率が小さいほど大きい。
例）
サイコロで1の目が出たという事象の自己情報量 log2 6 = 2.58 bit
52枚のトランプから1枚引き、表を見たときに得る情報の自己情報量 log2 52 = 5.70 bit
100万人に1人の栄冠に輝いたときの自己情報量 log2 1000000 = 19.93 bit
すべての場合について、自己情報量とそれが起きる確率piの積を合計すれば、事象系の平均情報量（その確率試行で得られるであろう情報量の期待値）が求められる。情報工学では、この量をエントロピーと呼ぶ。
ちなみに、チェスと将棋と囲碁の初手から終局までのパターンの場合の数の見積もりは、それぞれ 10^120 通り、10^220 通り、10^360 通りであると、巷では言われる。情報量が場合の数の対数で 与えられるとすると、それぞれのゲームのもつ情報量は
https://gyazo.com/733c031723211944eb8ee433c220e928
となる。
確かに、将棋はチェスの1.83倍、囲碁はチェスの3倍、将棋の1.64倍の情報量をもつ(難しい)ゲームだ、といったほうが、感覚的にはより妥当だと感じられる。
熱力学と情報理論におけるエントロピーには、共通する数式が現れる
ボルツマンのエントロピー式
https://gyazo.com/c01a94c92369e218ca7e3ad02c6fb568
シャノンのエントロピー式
https://gyazo.com/15d38ef3b5a3f565bb78363d16d06345
熱力学的エントロピーは、「エネルギーがどれだけ散逸・分散しているか」を表す。
情報理論的エントロピーは、「あるメッセージの不確実性（情報の散逸度）」を表す。
つまり、どちらも「システムの乱雑さ・不確実性の度合い」を測る指標になっている。
熱や運動エネルギーの話と、情報処理の話という、一見してまったく違う議論に、まったく同じ構造の数式が出てくるので、人はなんだか、これを神秘的に感じてしまうところがあるが、考えてみたら、この両者が類似するのは、当たり前といえば当たり前である。
熱とは無数の粒子(量子)の自由な運動の総体であり、熱力学を突き詰めると、統計の話となる。
かたや、情報もまさしく、離散的な大量の信号を扱うものであり、これも畢竟、統計の話なのである。
（ちなみにシャノンエントロピーは無次元である。この点は、明確な相違点である）
両者は、テクノロジーによる社会変革のきっかけとなった、という意味においても、共通している。
熱力学におけるエントロピーの発見は、モータリゼーションの原動力となった。
https://www.gotolab.co.jp/wp-content/uploads/2025/02/69a7af7027608bc5b43f1139ec94b885.jpg
情報理論におけるエントロピーは、DXの原動力となった。
https://www.gotolab.co.jp/wp-content/uploads/2025/02/b3b34219a577d617d5db2ad5a7976423.jpg
エンジンとはなにか。与えられた入力に対して一定の出力を提供する機械である。
ガソリンエンジンは、運動エネルギーを、サーチエンジンは、情報を提供してきた。
エンジンを設計する人が。エンジニアと呼ばれてきた。
産業革命以来、エンジニアは、機械文明の立役者であり続けてきた。
エネルギー、エントロピーの感覚器官
最後に、おまけ。
熱の世界は、エントロピーよりも、エネルギーのほうが、直感的にわかりやすい。
（熱いか冷たいかを、肌で感じられる）
情報の世界は、エネルギーよりも、エントロピーのほうが、直感的にわかりやすい。
(散らかってるか片付いているかは、目で見たら直感的にわかる)
このことも、なんだか面白い。
おそらく、味覚・嗅覚の世界にも、エントロピーは存在する。
水は純水はまずい。微小なミネラルが含まれていないと、美味しくない。長期熟成したウィスキーやワインが、どうして美味しくなるのかというと、微視的に見たときに、分子同士の水素結合がほぐれているから、である。
これらの事実から、「エントロピーが増加したほうが、美味しくなる」という仮説が立てられる。
しかし、材料を混ぜすぎて土留色になった泥水は、まずい。
あんまりこれについて、長々と考察するのも大変なので、ぱっと検索してみると、やはり、エントロピーと感覚に関する研究は、されているようである。こうした研究を参照するのも、意義のあることだと思われる。
曲率エントロピーを用いた視覚と味覚のクロスモーダル効果の解析