和で評価するとジェネラリストが選ばれる
2018-04-24
複数のテストや、複数人の審査員の点数の和で評価すると、一部の能力だけが秀でた人よりも、全体的な能力がマシな人が高く評価される。 スペシャリスト、尖った人材を採用したいなら、そのような選抜をしてはいけない。 右は2つのテストの点の合計で評価する場合の等高線、左は2つのテストの点の最大値で評価する場合の等高線。
両方の能力で60点のAさんと、1つの能力で秀でたBさんの評価が逆転する。
https://gyazo.com/54c1330c1f88eea0bfbfcf5e3768567b
関連
こちらは、テストのような絶対評価の点数がつかず、順位評価だけが得られる場合の評価戦略。
この記事を書いたきっかけ
――「未踏」と聞くと、やはり採択されるプロジェクトはどれもレベルが高い印象を受けます。応募されたアイデアの採択基準を教えてください。 未踏ジュニアの選考では、各PMが『この子と一緒に働きたいかどうか』という視点でプロジェクトの採択を決めます。まず書類選考を経てから各PMが気になったアイデア案の応募者とオンラインで30分程度の面談をして採択するかを決めます。、それぞれのPMが異なった視点や基準で応募者を評価するため、PM間で面談の指名をする応募者がかぶることはあまりないですね。 ――驚きです。てっきりPMの皆さま全員ですべてのアイデアを評価して、加点方式で応募者を上から順番に採択するものだとイメージしていました。
そんな方法でスペシャリストを選抜してはいけない。
あと「加点方式」とは複数の評価を足し算することではない。 悪いところを無視し、良いところに注目すること。
上記の図の右側で、xとyの和で評価する場合に、Aさん(60, 60)が120点で、Bさん(100, 0)の100点に勝つのは、100点からの減点A(-40, -40)とB(0, -100)を比べた時にBの-100を無視していないから。
つまり複数の評価をまとめる際に足し算を使うのは、加点方式でも減点方式でもないニュートラルな方法。
max(x, y)で評価するのが悪い点を無視する加点方式、min(x, y)で評価するのが良い点を無視する減点方式
追記
和を取ることと平均を取ることは同じである(定数で割るだけなので順位はまったく同じ) 多数決は各人の0/1での評価を足し合わせて最も大きいものを取ることなので、ここで問題視している「和での評価」 関連