測りすぎ
https://m.media-amazon.com/images/I/618neqp1AUL._SY522_.jpg https://www.amazon.co.jp/%E6%B8%AC%E3%82%8A%E3%81%99%E3%81%8E%E2%80%95%E2%80%95%E3%81%AA%E3%81%9C%E3%83%91%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%B3%E3%82%B9%E8%A9%95%E4%BE%A1%E3%81%AF%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8B%EF%BC%9F-%E3%82%B8%E3%82%A7%E3%83%AA%E3%83%BC%E3%83%BBZ%E3%83%BB%E3%83%9F%E3%83%A5%E3%83%A9%E3%83%BC-ebook/dp/B07RL7RGRW/ref=tmm_kin_swatch_0?_encoding=UTF8&qid=&sr=
一番印象に残ったところ
米軍による暴動鎮圧活動における実績測定のもっともすぐれた利用例が示したのは、標準化された測定基準が不正の温床となることが多いのに対して、特定のケースに合わせられた測定基準、特に現場での経験がある人間が開発した測定基準は本当に有益になり得るということだった。このような事例で難しいのは、共通のテンプレートを捨て、計測するだけの価値があるものが何かを見出すこと、そして特定の状況下でどの数値が実際にどのような意味を持つかを知ることだ。
ジェリー・Z・ミュラー. 測りすぎ――なぜパフォーマンス評価は失敗するのか? (Japanese Edition) (p. 189). (株)みすず書房. Kindle Edition.
超ざっくりの解釈
人間から遠い自然的なものではなく、人間に関するものを測ろうとすると、歪みやすい
何でも測定したがる人があまりに多い
所感
文脈としては、政策や医療や教育や人事評価といったものが中心で、特に報酬設計への批判が強い
測るなら、NOISEにあるように、ノイズを減らすようなガイドラインやアルゴリズムなどを絶えず改善し続ける覚悟で 何でも測るのは明らかに無理がある一方で、実験して測れば済むものも山程あるので、測れないことを言い訳に評論家になって何も行動しない人が増えないことを祈る
「測れないから、適当にやって検証しない」のではなくて、「測れないから、リスクを承知で経験をもとに判断をする」必要がある場合ってあるよね。っていう話
測定するか判断するためのチェックリスト
チェックリストを解釈して編集したもの
以下に全部yesでなければ、測定に頼らないほうがいいと判断しうる
1. 測定対象は、人間の行動や報酬に利用するような信頼性の低くなりやすいものを避けているか
2. 測定できる指標は対象をどれだけ表現できているのか
3. 測定対象は、異常や不正を検知する目的であって、平均や最高レベルの人間を見つける目的ではないようにしているか
4. 標準化された指標よりも有益なユーザーの声などに依存することは難しいか
5. 測定によって達成したい目標と、測定される人が達成したい目標が一致しており、不正や改ざんの誘発リスクが低い指標か
6. 測定実績を得る際にかかるコストが想定の2倍だったとしても測りたいか
7. 指標の有用性は、現場知識の経験に裏付けされているか
8. 現場での直接の経験からくる暗黙知を持つ人が基準の開発方法に関わっているか
9. 目標のズレを生むリスクを想定し、対応方針まで決めているか
10. その問題は解決可能であり、かつ測定によって解決できる問題なのか