ドーパミン報酬予測誤差仮説
ドーパミン報酬予測誤差仮説を支持する研究結果として、たとえば、サルのドーパミンニューロンの反応が学習に伴い変化することが知られている[41] [44]。 ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。 この反応は学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。
また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。
これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している[9]。
さらに、阻止効果に関する実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが確認されおり[45] [46]、またオプトジェネティクスを用いてドーパミンニューロンの活動を人為的に操作すると報酬予測に関連した学習が阻害されることも報告されている[47] 。 報酬予測誤差を反映したドーパミンニューロンの活動は、神経可塑性を介して脳における価値表現を調節すると考えられている。 ドーパミンニューロンは、前述の刺激や行動の価値を反映した神経活動が報告されている脳領域の多くに投射しており[9] [10]、投射先のニューロンのシナプス強度はドーパミンニューロンが活動することで放出されるドーパミンによって調節される[48] [49]。
近年では、ドーパミンニューロンの他にも、線条体[50]や内側前頭前皮質[51]で報酬予測誤差を反映した活動をみせるニューロンが見つかっている。 さらに、外側手綱核ではドーパミンニューロンとは逆に罰の予測に関連して負の報酬予測誤差を反映するニューロンの活動が報告されている[52]。これらの神経活動もなんらかの形で報酬予測に関連する神経活動の調整にかかわっているものと考えられるが、その詳細はまだわかっていない[2]。また、報酬予測誤差そのものが脳でどのように計算されているのかという問題も今後の重要な研究課題の一つといえるだろう[2] [53] [54] [55] [56]。 黒質緻密部ドーパミン作動性ニューロンの機能は複雑である。当初考えられていたように運動制御に直接関わるものではない。