85%ルール
「正答率が約85%になる難易度で学習すると、学習効率が最大化される」という経験則
85%ルールを調べると主に陸上競技から得られた経験則であるという説明があるmtane0412.icon
機械学習での研究
「動物の学習を説明すると考えられる生物学的に妥当なモデル」
この論文で具体的に参照・使用されているのは、Law と Gold によって2009年に発表された知覚学習モデル(Law and Gold model) です¹¹(論文中の引用文献11番)。このモデルは、特にサルが視覚的な意思決定課題をどのように学習するかを説明するために開発されました。 1. モデルが説明する課題:ランダムドットモーション課題
サルなどの動物はこの課題を訓練によって学習し、より低いコヒーレンスでも正確に判断できるようにる
2. モデルの構造と仕組み
実際の脳で動き情報を処理する視覚野の一部である「MT野」のニューロン活動をモデル化します。この層は、ランダムドット刺激の方向とコヒーレンス情報を受け取り、ノイズを含んだ神経活動パターンとして表現します。個々のモデルニューロンは、特定の動き方向に対して強く応答するように設定されています。
MT野からの情報を統合し、最終的な判断(「左」か「右」か)を下す層です。これは、意思決定への関与が示唆されている頭頂葉の「LIP野」の機能をモデル化しています。MT野の各ニューロンからの出力は、LIP野のニューロンへのシナプス結合の重みに従って重み付けされ、足し合わされます。この合計値(決定変数)が、判断の根拠となります。
このモデルの重要な点は、MT野からLIP野へのシナプス結合の重みが、強化学習のルールに従って更新されること
RPEは、「実際に得られた報酬」と「現在の状況で予測される報酬の期待値」との差を表す
この誤差が小さくなるように(=より多くの報酬を得られるように)、シナプス結合の重みが少しずつ調整されていく
ああ〜なるほどmtane0412.icon
3. なぜ「生物学的に妥当」なのか
このモデルが「生物学的に妥当 (biologically plausible)」と考えられている理由はいくつかあります。
神経基盤: 脳の特定の領野(MT野、LIP野)の機能や神経活動の特徴をモデルに組み込んでいます。
学習ルール: RPEに基づく強化学習は、脳内のドーパミン神経系の働きと関連付けられており、生物学的に現実的な学習メカニズムと考えられています。
再現性: このモデルは、サルがランダムドットモーション課題を学習する際の行動の変化(学習曲線など)や、LIP野ニューロンの活動が学習に伴ってどのように変化するかを、実際の実験データと照らし合わせてよく再現できることが示されています。
4. 「85%ルール」論文での使われ方
Wilsonらの「85%ルール」論文では、このLaw and Goldモデルを用いてシミュレーションを行い、「85%ルール」が生物学的な学習モデルにも当てはまるかを検証しました。
モデルにランダムドットモーション課題を学習させる際、課題の難易度(コヒーレンス)を調整することで、訓練中の正答率が様々なレベル(例:95%, 85%, 60%など)になるように固定しました。
様々な正答率で訓練した後、モデルの最終的なパフォーマンス(学習によってどれだけ判断精度が向上したか)を比較しました。
その結果、訓練中の正答率を約85%(エラー率約15%)に設定した場合に、学習効果が最も高くなることが示されました(論文 Fig. 4a)。
日常の感覚にするとmtane0412.icon
100%報酬獲得できる領域はなんかワクワクしない
ドーパミン出てない
チャレンジする領域ではない
かといって失敗する確率が高いとやる気がでない
ちょうどいいバランスポイントが84.13%