測りすぎ - なぜパフォーマンス評価は失敗するのか? ジェリー・Z・ミュラー 読書メモ
用語
測定執着(Measurement Bias)
測ることはある一面で生産性を上げる一方、測ることが出来ないことを測ろうとすることにより非生産性を上げる。
ブルシット・ジョブでも上げられていたテーマで、ケアリングワークなど本質的に測ることが出来ない領域を測ろうとしたりした際にある種の非生産的な歪みが生まれる。ブルシットジョブと一緒に読みたい。
測定基準を設けようという動機はしばしば、まったくの善意から生まれる。現実の問題に対する解決策を見つけようとするのだ。〜場合によっては測定が実際にそのような解決策をうまく提供する場合もあるし、少なくとも問題解決に貢献する場合もある。p24
以下情報の歪曲問題のリスト
「一番簡単に測定出来るものしか測定しない」]
もっとも簡単に測定出来るものがもっとも重要なものであることはまれで、実際にはまったく重要ではない場合がある。これが、測定基準の欠陥の中で第一の要因だ。
求められる成果が複雑なものなのに、簡単なものしか測定しない p24
「成果ではなくインプットを測定する」
成果物ではなくプロセスを測定するということ
「標準化によって情報の質を落とす」
何かを比較可能にするというのは往々にして本来の概念、歴史、意味をはぎとってしまうことを意味する。〜危険信号や曖昧さ、不確定要素は剥ぎ取られる。
「どのような定量的な社会指標も、社会的意思決定に用いられると、その分だけ劣化圧力を受けやすくなり、追跡対象としていた社会的プロセスがゆがめられ劣化する傾向が強まる」
言い換えると測定が報酬と結びつくと必ずデータの改ざんやプロセスの歪みが生じるということ
上澄みすくいによる改竄
簡単な目標を見つけようとしたり、困難ではないデータを集め測定目標を達成しようとするケース。
例えば警察組織の目標を検挙件数などにし報酬と結びつけると、より簡単な犯罪を検挙しようとし、重大な犯罪が見逃されるというような歪み。
基準を下げることによる改竄
例えば高校や大学のの卒業率を改善するために、テストの基準点数を低くするなど
データを抜いたり、歪めたりすることによる改竄
例えば警察における重犯罪を軽犯罪として記録したり、通報された犯罪をそもそも記録しなかったりすることで「犯罪率」を引き下げることが出来る. p26
不正行為
測定基準の重要さが上がるにつれてデータ自体の書き換えなど重大な不正が行われる事例が多くなる
例: 「落ちこぼれ防止法」によって生徒のテスト点数が学校の存続を左右するようになると教師が生徒のテストの解答の書き換えを行うなど
p55 「1998年にはMITの組織経済学教授ロバート・ギボンズが、実際にはプリンシパル(たとえば企業のオーナー)はエージェント(従業員)のアウトプットの多様性から利益を得ており、そのアウトプットの多くはどんなに数字化しようとしても、はっきりと見えやすかったり測定しやすいものではないと指摘した」「たとえば、組織が依存しているのは従業員のエンゲージメントであり、例を挙げればメンタリングやチームワークに取り組んでくれるかどうかだが、これは多くの場合、報酬目的で測定実績を最大化することだけが関心事である従業員の行動とは相容れない」
簡単で定量化可能な実績を測定することにより歪んだインセンティブが発生する
p62 「限られた、そして測定可能と言われている目標を事前に設定することで、測定執着は企業や組織の実際の目標の範囲を狭めてしまう。また、追求するべき新たな目標や目的があったとしても、それが測定の対象外であれば無視されるため、組織内では起業家精神が損なわれる」
GmailはGoogleの20%ルールで生まれたようにイノベーションは測定外のエンゲージメントから多々生まれることがある
p64 「「効率」のスローガンのもとにとんでもない不正行為が行われている、とケドゥリーは断言している。「効率は一般化したり抽象化出来る性質ではない。効率は常に目の前にある対象と比較されるものだ。ビジネスにおいては、生産に用いられる要素に対する見返りが比較可能な別の見返りより大きな場合、より効率が良いと言える。だが、大学はビジネスではない」のだ」
p88「金銭的な投資利益率だけに焦点を当てた測定基準の危ういところは、それが行動を左右するという点だ。〜〜。資本主義社会の繁栄は多様な組織が市場への平衡錘の役割を果たすかどうかにかかっている。なぜなら、市場は金銭的利益に焦点を当てているだけだからだ。高校生や大学生を、市民、友人、伴侶としての役割が果たせるように備えさせること、そして何よりも、知的な豊かさを得られる人生に備えさせること──それが、大学の果たすべき正当な役割の一つだ。市場で売れる技術を教えることも正当な役割ではある。だが将来高賃金を得る力だけに高等教育をまるごと従属させるというのは、曲がり切った定規で測るのと同じことなのだ。」]