神経回路刺激の制御のためのシミュレーション

プロジェクトの概要

脳活動のシミュレーション環境を作り，特定の活動が生じるような刺激パターンをモデルフリー（PPO）やモデルベース（RS）強化学習で最適化する．観測できるニューロン数やネットワークの複雑さのパラメータを変えて，スコアがどう変化するか実験し，考察する．

発表動画

https://youtu.be/p3-cUh10UmE

※動画は時間制限のため早口になっております

手法

128個の相互結合したニューロン(Sompolinsky+ 1988)を用意．ネットワークの複雑さJを1より小さい値と大きい値で2パターン試した

エージェントはこのうちN_OBS個のニューロンの活動量を観測し，128個のニューロンに対して-1~1の値でinputを与えることができる（inputするニューロン数の調整やタイミングの制約は今後の課題とする）

特定の神経活動パターンが生じると報酬を与える（-1~1と短調増加するパターンや全て0のようなサイレントな活動，自発活動中に生じなかったパターンの活動の3パターン試した）

PPOまたはRSを用いて刺激パターンを最適化