評価の厳密な数値基準を設けるとそれに最適化された行動を取ってしまう
from 2024/02/10
評価の厳密な数値基準を設けると研究者はみんな頭がいいのでそれに最適化された行動を取ってしまう
評価の厳密な数値基準を設けると研究者はみんな頭がいいのでそれに最適化された行動を取ってしまうnishio.icon
その結果、自分が使い続けもしない「新しいシステム」を作って論文発表するインセンティブが生まれてしまう
関連:
/masui/自分が使わないものを発表するな
論文査読の落とし穴
/shokai/学会と実世界の乖離
HCIかなんかで盛り上がってたやつなんだっけ
これだ: /nishio/自分で使いまくって改良し続ける
HCIおもちゃ説
それは同意しますが、少なくともその価値観に没入すれば「学術コミュニティに貢献している」という気持ちになれるという点で「一般的な研究者」の姿は腑に落ちていますblu3mo.icon
報酬設計問題だyosider.icon