深層学習とマルチエージェント強化学習を用いた記号創発
public.icon
gpt-4.icon
1. **研究の動向**
- 2010年代中頃から、深層学習に基づくマルチエージェント強化学習を用いた記号創発の研究が盛り上がっている。
- 重要な研究例として、DIAL (Differentiable Inter-Agent Learning; Foerster et al., 2016)やCommNet (Sukhbaatar et al., 2016)が挙げられる。
2. **提案されている手法**
- 深層強化学習手法であるDDPG（Deep Deterministic Policy Gradient）を拡張したMADDPG（Multi-Agent DDPG）など、様々な手法が提案されている。
- これらの手法は、Lillicrap et al., 2015; Lowe et al., 2017などにより提案されている。
3. **研究における問題点**
- 協調のためにどれだけ効率的なコミュニケーションチャンネルが形成されるかが主要な問題となっている。
- この問題は、Iqbal & Sha, 2019; Jiang & Lu, 2018; Kilinc & Montana, 2018; D. Kim et al., 2019; W. Kim et al., 2021などにより指摘されている。
- また、マルチエージェント強化学習タスクにおいては、言語の構造よりも高いパフォーマンス（多くの報酬獲得）が注目されがちである。
4. **言語創発に関する特記事項**
- 記号創発のモデルは、参照ゲームやシグナリングゲームのフィードバックの代わりに共同注意の存在を仮定している。
- 形成される言語が純粋にタスク依存的になるため、社会における言語創発を考える際には注意が必要である。
より広いタスクを前提としながら記号創発システムの全要素を含んだモデルが求められる．