集合的予測符号化に基づく言語と認知のダイナミクス：記号創発ロボティクスの新展開に向けて
claude.iconこの論文は、「集合的予測符号化」という新しい概念を導入し、言語の創発と進化を説明する「集合的予測符号化仮説」を提案しています。主な内容は以下の通りです： 1. 記号創発システム：言語を含む記号システムが個人の認知と社会的相互作用を通じて創発するプロセスを説明するモデル。 4. 記号創発ロボティクスの新展開：この仮説に基づき、より複雑なモデルの開発や人間とロボットの共創的学習などの可能性を示唆。
6. 今後の課題：理論の拡張、実験的検証、計算言語学との接続などを挙げています。
この理論は、個人の認知と社会的相互作用を統合し、言語の創発と進化を包括的に説明しようとする野心的な試みであり、認知科学、言語学、人工知能などの分野に新たな視点を提供する可能性があります。 nishio.icon
論文をClaudeに突っ込んで読むの便利
claude.icon集合的予測符号化は、人間社会における言語や記号システムの創発を説明するための新しい仮説的枠組みです。この枠組みの主な特徴は以下の通りです:
定義:
集合的予測符号化とは、多数の人間による分散的なベイズ推論により言語が生じるという考え方です。
基本的な考え方:
個々の人間は自身の感覚運動情報に基づいて内的表象を形成します。
同時に、人間集団全体で外的表象としての言語/記号システムを形成します。
これらのプロセスは相互に影響を与え合いながら進行します。
理論的背景:
確率的生成モデルを用いて記号創発システム全体を表現します。
主要な主張:
言語は人間集団が世界を予測し符号化するために形成された集合知である。
記号創発は集合的な表現学習として捉えられる。
個々のエージェントによるサインの採択/棄却の意思決定が重要な役割を果たす。
メリット:
従来別々に研究されてきた個体の認知と社会的な言語創発を統合的に扱える。
人工知能研究における表現学習の知見と言語進化の研究を接続できる。
実装例:
今後の展望:
より複雑な認知モデルへの拡張
人間被験者実験による検証
計算言語学との接続
人間とAIの共創的学習への応用
この仮説は、言語の創発と進化に関する新しい視点を提供し、認知科学、言語学、人工知能研究を橋渡しする可能性を持っています。
承知しました。この論文の内容を元に、集合的予測符号化について説明し、数式は$ x $の形式で記述します。
主な特徴：
1. 予測符号化の拡張：
個々のエージェントの認知プロセスを予測符号化として捉え、それを社会レベルに拡張します。予測符号化では、感覚入力 $ x に対して、内的表象 $ z を用いて $ p(x|z) という予測を行います。 2. 分散的ベイズ推論：
3. メトロポリス・ヘイスティングス名付けゲーム：
エージェント間のコミュニケーションを通じて、分散的にベイズ推論を実現する方法です。採択率 $ \alpha = \min(1, \frac{p(x_2^o | \theta_2,s_1^o)}{p(x_2^o | \theta_2,s_2^o)}) に基づいて、他者からのサインを受け入れるかどうかを決定します。
4. 集合的予測符号化仮説：
「人間の言語は集合的予測符号化により形成されている」という仮説です。これは言語が多数の人間による分散的なベイズ推論により生じるという考え方を示しています。
5. 環境適応との関係：
集合的予測符号化は、個々のエージェントの環境適応（世界モデルの形成）を社会レベルに拡張したものと捉えることができます。また、マルチエージェント強化学習の枠組みとも理論的に接続可能です。 6. 記号創発システムのモデル化：
Inter-PGM（Inter-Probabilistic Generative Model）という確率的生成モデルを用いて、記号創発システム全体をモデル化します。これにより、個体の内的表象形成と社会的な記号システム形成を統一的に扱うことが可能になります。 集合的予測符号化の枠組みは、従来別々に研究されてきた創発的コミュニケーション、マルチエージェント強化学習、繰り返し学習モデル、記号創発ロボティクスなどの研究分野を統合する可能性を持っています。今後の課題としては、より複雑な言語現象（構文構造、抽象概念など）への適用や、人間を対象とした実験的検証などが挙げられます。
逆の言い方をすれば言語こそが主体
ウケるnishio.icon
谷口忠大, 2010, 2014, 2020
淡々と積み上げてるのすごいな、それぞれを後で見る
nishio.icon
疲れたので雑に読んだ
異なるエージェントの脳を繋いだのと同様のことが言語を通じて可能になる
AIと人間の脳を仮想的に接続できる、と考えれば夢が広がりんぐ
ただしこれは共同注意が必要なので、たとえばCosenseのおなじページを人間とAIが読んで、ページに名付けをする(=タイトルをつける)といった類のものになる AIの方が圧倒的に大量の情報を処理できる特性を生かすことができず処理能力の低い人間がボトルネックになる 異なるScrapboxを読んだAI同士で会話するか？と考えたが、その場合両方読ませればいいのでなんだかな
構想は面白いけど直近で役立てるアイデアが思いつかないな
寝て起きて思ったんだけど、このバーチャル脳結合の仕組みは、人間とAIをつなぐというよりは、複数の人間を繋いでより高度な知性に進化するための道具だな
いままでは特に理論的裏付けなくゆっくりと発生していた
Scrapboxの登場で少し効率良く発生するようになった
読みたいyosider.icon
Inter-PGM
https://gyazo.com/26615713571984523c23fe6ed28bb61c
T. Taniguchi et al. (2022) により一般化されたメトロポリス・ヘイスティングス名付けゲーム
Taniguchi, T., Yoshida, Y., Taniguchi, A., & Hagiwara, Y.
claude.iconこの論文の主な内容を要約すると:
メトロポリス・ヘイスティングス命名ゲーム(MH Namingゲーム)という新しい創発的コミュニケーションのモデルを提案しています。これは確率的生成モデルに基づいており、明示的なフィードバックを必要とせず、共同注意を仮定しています。
Inter-GMM+VAEという深層生成モデルを提案し、MH Namingゲームを用いた推論手順を示しています。
MNISTとFruits 360データセットを用いた実験により、提案モデルが2つのエージェント間で内部表現と記号を学習・共有できることを実証しています。
集合的予測符号化仮説という言語進化に関する新しい仮説を提案しています。
主な貢献は以下の2点です:
確率的生成モデルに基づく創発的コミュニケーションの新しい枠組みを確立したこと
生画像からの記号創発を可能にするInter-GMM+VAEモデルを提案したこと
この研究は、認知科学と人工知能を橋渡しし、言語の創発と進化に関する新しい計算論的アプローチを提供しています。
https://gyazo.com/6466b3c6d3646b6d1d36165cf832b9b1
oがoutputではなく入力なのはobservationだからだねnishio.icon
https://gyazo.com/0a555d8411fe0ba50f24ab237cceeddd
メトロポリス・ヘイスティングス名付けゲーム（MH名付けゲーム）は、この論文で提案された創発的コミュニケーションのための新しいフレームワークです。以下にその主要な特徴を解説します：
基本構造:
2つのエージェント（話し手と聞き手）が参加します。
共同注意を仮定しています（両エージェントが同じ対象を観察していることを前提とします）。
プロセス:
a) 知覚: 両エージェントが対象を観察し、内部表現を形成します。
b) 発話: 話し手が対象に名前（記号）を付けます。これは確率的に行われます。
c) 受容判断: 聞き手が提案された名前を受け入れるかどうかを確率的に決定します。
d) 役割交代: 話し手と聞き手が役割を交代します。
新しい名前を受けて内部表現が更新されるようなことはないのだろうかyosider.icon
新しい観点に気づく的な
他の知識からのアナロジーとかがなくただ対象を観察するだけだと、名前を聞いても内部表現は変わり得ない？
でも名前がフィットするかを判断するには他の物事への知識が必要そうだからあるのかな
cに暗黙に含まれている？
nishio.icon
https://gyazo.com/3a8f558e20f2aa40ae2da0e2bacb8864
自分が一番適してると思った名前と相手の提示した名前で比較して片方を選んで、
https://gyazo.com/4ba1db873034ffe37bad19b8ad32fb50
その後でそれを学習してる
名前のわりには単純なルールだったyosider.icon
特徴:
明示的なフィードバックを必要としません。
確率的生成モデルに基づいています。
数学的基礎:
MH名付けゲームは、2つのエージェントを統合した確率的生成モデルのメトロポリス・ヘイスティングスアルゴリズムと数学的に等価であることが示されています。
受容確率:
聞き手が新しい名前を受け入れる確率は以下の式で計算されます：
$ r = \min(1, \frac{P(z_{Li}^d|\phi_{Li},w_{Sp}^d)}{P(z_{Li}^d|\phi_{Li},w_{Li}^d)})
ここで、$ z_{Li}^d は聞き手の内部表現、$ \phi_{Li} は聞き手のパラメータ、$ w_{Sp}^d は話し手が提案した名前、$ w_{Li}^d は聞き手が元々考えていた名前です。
聞き手が持っている内部表現（頭の中にもっている概念のイメージみたいなもの？）にそれぞれの名前がフィットする度合いの比、という感じかyosider.icon
1を超えなくても受け入れ得るんだな
理論的意義:
記号的コミュニケーションを個人間クロスモーダル推論として解釈できます。
応用:
生の感覚データ（例：画像）から記号システムを創発させるのに使用できます。
言語進化や概念形成のモデル化に適用可能です。
このアプローチは、人間の言語獲得や記号システムの進化をより自然にモデル化することを目指しており、認知科学と人工知能の橋渡しとなる可能性を持っています。
あー、そうかnishio.icon
例えばAIがページをみて「これはこのカテゴリーだ、このハッシュタグをつけましょう」と提案して、人間がそれを見て受け入れたり却下したりする
これはページを観測してシンボルを発話してるから同じ構図になる
先日の引用プール的なシステムで、断片のネットワークが本体ではなくて、その断片ネットワークを管理してるAIさんがいる AIさんのCosenseプロジェクトを見せてもらってる感じ
AIさんｗｗbsahd.icon
で、我々N人の人間はページを見てリンクやハッシュタグを提案することができる
AIがそれを見て、しっくりこなかったら却下する
これでMH名付けゲームになる
AIがつけてるリンクやハッシュタグに関しても、人間がしっくりこなかったらリジェクトできる
リジェクトしたものはどうなる？
claude.icon
直接的なフィードバック：
MH名付けゲームでは、明示的なフィードバックは仮定されていません。そのため、話し手は自分の提案した名前がリジェクトされたことを直接知ることはありません。
nishio.icon
まあそうか、これはAIさんの個人Cosenseプロジェクトなのだから、単なる読者の人間は編集できないのが正しいのか
AIさんに提案することはできる、受け入れてもらえるかどうかはAIが納得するかどうかによっている
納得する確率が
$ r = \min(1, \frac{P(z_{Li}^d|\phi_{Li},w_{Sp}^d)}{P(z_{Li}^d|\phi_{Li},w_{Li}^d)})