初期の神経系を持つ動物における貢献度分配問題
以下の４つを組み合わせることで
貢献度分配問題(Credit assignment problem)
を解決する
eligibility trace
隠蔽 (overshadowing; OV)
阻止(Blocking; BL)
潜在制止(latent inhibition; LI)
Naa_tsure.icon
注意したいのがこれは神経レベルではなく、行動と報酬の文脈
Naa_tsure.icon
これは報酬と刺激が近接している場合には有効だが、時間的に離れている時にはうまく働かない
例えば、チェスのような報酬が最後にしか与えられない問題はこの仕組みでは強くならない
temporal credit assignment problem
Stochastic Neural Analog Reinforcement Calculator; SNARC
これを克服するには
TD learning
が必要