集合的予測符号化＝記号創発
現状の谷口の世界理解と展望を一人で思いっ切り書いた感じです。
③ 「言語」を主体として捉えれば言語創発とは外的表象の representation learning （表現学習）である。 ⑥ それゆえにAI、ロボティクスの研究として社会レベルまで含めて素直に展開可能。（世界モデルの社会化） ⑥ 言語創発はそれゆえに「社会における」自由エネルギー原理に基づくものと捉えられるだろう。 ⑦ 大規模言語モデルは上記、集団による表現学習の結果の構造を内化しているので、世界の構造情報を内化している。だから人間の環世界を統合するような形で思いの外「世界を知っている」。その学習にはnext token predictionのような（予測）符号化で十分なようにも思う。 若干意訳もありますが、こういう風な世界認識をもとに書いています。ご笑覧ください。
また英語では preprint ですが
で集合的予測符号化に関して書いています（under review）。
ちなみに、東大の上田さん
@CsWeddy
と書いてICLR2024に採択された"Lewis's Signaling Game as beta-VAE"はそういう表現学習としての言語（記号）創発を地に足つけて（その片鱗を）定式化して、さらにそれがもたらすimplicationについて議論したものです。
また言語創発の俯瞰的なサーベイも同時に出版しているので、よろしくお願いします。
https://pbs.twimg.com/media/GIq3gFGaAAAtt5C?format=png&name=medium#.png https://pbs.twimg.com/media/GIq3l1dbcAACYBy?format=png&name=900x900#.png
tanichu まだまだ「展望」であって、数多くの研究でサポートしていったり応用に繋げていかないといけないと思いますが、展望論文ですので、いろんな人にinspiration を与えられて、さらに議論を広げ、深められたら嬉しいです。… >: