The geometry of neuronal representations during rule learning reveals complementary roles of cingulate cortex and putamen
YardenCohen, EladSchneidman, RonyPaz
Highlights
幾何学的なフレームワークを用いて、de novoルール学習時の単一ニューロンのダイナミクスを明らかにする
dACCのニューロンは、新しいルールベースの行動方針の探索を反映している
putamenの神経細胞は、policy探索に続く信頼度の上昇も反映している
神経表現は一晩のルールの保持と一般化を予測する
Summary
新しい規則性の学習や新しい方策の採用は霊長類に見られる顕著な適応的行動である.本研究では数日間でルールが変わる分類タスクを数週間にわたってサルに学習させ,その間のdACC,被殻(putamen)の活動様式の動的パターンを解析した.dACCではルール方向にベクトルが回転し(方策を探索),その後に続いてputamenではベクトルの大きさが増大した(新しい方策への確信度が増大).さらに,その日の後半でのこのような神経表象によって次の日の最初の成績が予測できたことから,日をまたいで保持される機構であることがわかった.
また,神経活動の動的変化をルールベクトルとの関係から解析する方法自体が新しく,汎用性も高いと考える.
Graphical abst
https://gyazo.com/5f3ee941e0457d6a413fcc95632afa33
Keywords
Rule learning, Classification learning, Non human primates, Electrophysiology, Cingulate cortex, StriatumNeural representations, Geometry, Policy search, Confidence, Neural dynamics
Introduction
Results
https://gyazo.com/ae1f61fc87d7dd65631ff74af4c6f883
図1. 分類規則の試行学習
左からx1,x2,x3と定義し,白なら1,黒なら-1の値をとるとする
’xixj’タスクではxi・xjの値が1なら右,-1なら左が正解
Majorityタスクでは黒が過半数なら右,白が過半数なら左が正解
それぞれのルールは数学的に独立=そのルールに完全に従うエージェントが他のルールに適用されると,正解率がチャンスレベルになる
マカクに4週間ルールを変えながらタスクを行わせた.2-4日間連続で同じルールを適用
https://gyazo.com/3297ca571f008f2262ce8b1572142e97
図2. ルールに依存した学習
A)正解率の日内推移
B)近傍30試行で最大の正解率とその試行の位置
C)上:同じルールの連続2日の正解率
下:1日目の最後の方の正解率と次の日の最初の方の正解率
D)同じルールで連続していない2日間でCと同様の解析すると無相関
E)各ルールの最後1/4試行分の正解率 easyとhardにタスクを分けた
F)2bit,4bitタスクについてEの解析
https://gyazo.com/3ae78e3ba902461fcf39e3463d9e3203
図3. ルールベースの分類の学習をシングルニューロンで表現
A-B)dACC,Cadate(尾状核),Putamen(被殻)のシングルユニットを記録
C)3ニューロンのラスターとPSTH.カテゴリで色分け,上が試行の前半,下が後半.左と中央は後半でカテゴリ選択的に変化,D)右は変化せず.右のような刺激反応性は3%のみ
E)学習後,ルールと相関するユニットの割合dACCとPutamenではeasyとhardで有意差
F)ルールと相関するユニットが増える(縦軸)と正解率も上がる(横軸)
G)全試行で回答/ルールと相関するユニットの割合
https://gyazo.com/9e9d308c20e84ebb2891a7ac8684d5db
Figure 4. A geometrical representation of neural activity reveals learning dynamics
A)Xi,XORij,P123の7つの特徴量(それぞれxiの積で1か-1の値を取る)で各刺激パターンを表現
B)各特徴量と発火率との相関を各成分に持つneural vectorを定義.時間ごとに色分け.黒矢印の方向がその日のrule vec.neural vecの大きさやrule vecとの偏角を調べる
C-F)代表4ニューロンの解析.左から,
1)カテゴリ・試行ごとラスターとPSTH,
2)正解率と各特徴量との相関.赤矢印がその日のルール.
3)neural vecのrule vecへの射影(x)と直交成分(y)を試行(z)ごとに表示.青の面は(0,0,t)との線分であり,neural vecの回転を可視化
4)neural vecの大きさと rule vecとのcos類似度
n5)eural vecを主成分分析.PC1~3を表示,黒矢印がrule vec
C:学習中に変化なし,D:学習過程でルールへ回転,E:間違った特徴へ,F:回転と伸長が複雑
https://gyazo.com/b4333298726a8dbb575e21759ccd51eb
図5 dACCとプータメンでの差動表現
A)dACCにおけるRule vecへの偏角が減少したユニットの割合.EasyタスクのほうがHardタスクより有意に多い.右下は角度の変動の平均値の時間変化,右上がその累積.灰色の区間でeasy-hard間の有意差があった
Aと同様の解析をputamenに適用
C)正解率の変動と偏角の変動の相関をdACCとPutamenで表示
D-F)A-Cをmagnitudeが増大したものに関して解析.Putamenのmagnitude増加とタスク成績が相関した.
https://gyazo.com/e78ec71c71bef57d5a9c0bf4a9cb2480
図6. putamenとdACCにおける学習動態の違い
A)偏角angleの変動(赤:dACC,青:Putamen)と正解率(黒)の相関
B)Aの相関値の全ニューロンに対する分布.Insetは相互相関が極大となるlagの分布.0と有意差がなかった(=神経表象の変化が即自的に成績に反映される).
C-D)A,Bをneural vecの大きさに適用
E)4試行分angleを遅らせた時の相関.easyのほうがhardより相関が高い.lagを0にしたり8にしたりするとdACCの相関はなくなった
F)Angleのcos値を10回連続して正解したトライアル(点線)と全体(実線)で比較すると連続正解のほうが高かった(=angleが小さい).
G)dACCのangleとPutamenのmagnitudeの相互相関が最大となるlagの分布.有意に負に偏った→angleの変化が先んじる
G)Gをeasyとhardで分けて表示
https://gyazo.com/90598389139b34bf4432aecad14f6739
図7. セッション終了時の神経表現が翌日のパフォーマンスを予測する
A)Putamenニューロンに関して,その日の最後の1/4試行分のrule vecへの射影を横軸に,翌日(同ルール)の最初の1/4試行分の正解率をプロット
B)翌日にルールが変更された場合に対してAと同じ解析
ルールが同じでも変更されても有意な相関が認められた
Discussion
視覚刺激パターンの分類タスクを数日間でルールが変えながら数週間にわたってサルに学習させ,dACC,被殻(putamen),尾状核(Cadate)の発火活動の動的パターンを解析した.
・dACCではルール方向にベクトルが回転する(方策を探索)
・引き続いてputamenではベクトルの大きさが増大する(新しい方策への確信度が増大)
・rule vecへの射影成分が大きいときは成績が良く,Putamenにおいては日をまたいでも,ルールが変更されても持続する
強化学習における方策の探索とその確信度の神経メカニズムに迫る重要な知見である.
また神経活動の動的変化をルールベクトルとの関係から解析する方法が新しく,汎用性も高い