優れたプレイヤーだけを選抜したいときの「誤検出（偽陽性）」と「検出漏れ（偽陰性）」の話

「優れたプレイヤー」を選抜したい、という需要がある

大会募集の招待枠、優先枠、強い人を対戦募集、ランキング、シード

ランキングやシードの場合は、選抜するだけでなく順序づけも必要

検出漏れ（偽陰性）

「優れている人」を「優れてない」と言ってしまうこと

「スマメイトレート2000以上の人」を募集する -> スマメイトレート2000以上の人はみんな強いけど、レート2000以下でも強い人はいる(スマメイトをやっていない人等)。

誤検出（偽陽性）

「優れてない人」を「優れている」と言ってしまうこと

「オフ大会優勝経験者の人」を募集する -> 「オフ大会」のレベルが玉石混交なので、レベルの低い大会の優勝者も含まれてしまう。

基本的には、片方を減らそうとすると、片方が増える傾向にあるが、検出漏れと誤検出が同時に起こることもある。

この例では検出漏れが多いとされているが、アルフォンソ・ソリアーノのような誤検出的なものも発生している。

検出漏れと誤検出が許されるのはケースバイケース

強い人を対戦募集 -> 強い人と対戦できれば良いので、検出漏れがあってもいいが、誤検出(強くない人と対戦)はしたくない。

大会のシード決め -> 検出漏れがあると、大会序盤に「強い人対強い人」が発生してしまい、とても良くない。誤検出も良くはないが、「強くない人対強くない人」が発生するだけなので、「1件あたりの害」は検出漏れより誤検出のほうが少ない

検出漏れと誤検出に対する「文句」の非対称さについて

大会実況やSNSなどの会話の場では、誤検出のほうが多くなる。これは「強い人を強くないと言ってしまう」はその人を貶めているが、「強くない人を強いと言ってしまう」のは、貶めてないから

強いかどうかよくわからないプレイヤーには、とりあえず「強豪○○使い」とでも言っておけば、場が丸く収まる。

なので、「キャラ別強者一覧」みたいなものを作ると、「なんであの人が入ってないんだ」という文句はいっぱいくるが「いやあの人は強者じゃないだろ」という文句は少ない

どう選抜するか

客観的に選抜する

スマメイトレート2000以上、ウメブラTop 32以上などの客観的な基準

メリット 比較的公平性がある

デメリット

基準をアップデートし続ける必要がある

例えば、「スマメイトレート2000以上」という条件でも、今と昔ではスマメイトレート2000以上の人数が変わってくる(スマメイト参加人数が増えれば、レート2000以上の人も増える)。競技シーンの情勢によって基準を変える必要があるが、「どのくらい基準を変えれば良いか」を決めるのは難しい

客観的な基準でも、結局その基準は人間が決めるので、主観が混ざる (重要)

プレイヤーの行動に悪影響が出る場合がある

例えば「レート2000以上を○○大会に招待」という基準を設けると、レート2000に達成した瞬間にレートが下がるのを恐れてスマメイトで対戦しなくなる -> 界隈の非活性化に繋がる恐れ

この例では、レート2000以上という目標に向けていっぱい対戦する人も増えるのでトータルではプラスっぽいけど。

レート、勝率、打率、平均順位のような「参加することで下がる可能性がある」指標でこういうことが起きがち。

基準を決めるときは、「その基準によってプレイヤーの行動にもたらす影響」も考慮する必要がある (重要)

そもそも基準を作るのが大変

誤検出と検出漏れを少なくしようとすればするほど基準が複雑になる。さらにそれをアップデートし続ける必要があるので、さらに大変

先述した日本プロ野球名球会入りの条件も、どんどん複雑になっていっている

そもそもデータを集めるのが大変(コストが高い)

例えば「過去1年間でウメブラTop16に入ったことがある人」という簡単な条件でも、過去1年間の戦績をさかのぼらなくちゃいけないので結構大変。

プログラミングの知識があればそれなりに自動化できる。

条件が後から検証可能なので、別に該当プレイヤーを募集する側が全列挙する必要は必ずしもなく、「とりあえず条件付きで募集して、集まった人を後からチェックする」という方法でコストが削減できることもある

主観的に選抜する

メリット

柔軟性がある。特に、「外れ値」的な事象に強い

例えば「誰がどう考えても強いけど、ここ1年間は諸事情で競技シーンに出れなかった人」みたいな人は、客観的な基準では拾いづらいが、主観的であれば選抜できる

誰でもできるので実行コストが低い。

デメリット

網羅するのが大変 -> うっかりミスによる検出漏れが起こる

前述の「検出漏れと誤検出に対する文句の非対称さ」によって、文句を少なくするために、迷ったら「強い人」とするのが安定行動になる -> 選抜する人数に制限がない場合、誤検出が増える

客観的な選抜に比べて、公平性は少なく、選抜する人によって基準が変わりがち

日本人が選出する「強者リスト」とアメリカ人が選出する「強者リスト」は大きく異なるはずで、これは「関東と関西」とか「○○使いと△△使い」とかでも発生する

客観と主観を混ぜる

客観的基準によって大まかに選抜し、検出漏れと誤検出を主観的に微調整

実際の運用では、客観的基準を厳しくしておき、主観的に検出漏れを補うのが良さそう

個人的には一番精度が良くなる(誤検出と検出漏れを最小化できる)んじゃないかと思っている

主観的なプロセスが混ざるので公平性は落ちるが、実際にメジャーなスポーツでも採用されている

先述した日本プロ野球名球会も、理事会の会員のうち4分の3以上の推薦を受けた選手は特例枠として会員になれる。