BIG CHANGES COMING TO PGRU IN 2020の感想
気になった部分の感想。翻訳はしない。この記事は簡単に言うと、スマブラ世界ランキング(PGR)は今までアルゴリズムベースでTop50を発表してたけど、2020からはパネリスト方式でTop100の公開にしますよ、ということが書いてある。 One of the limitations of pre-existing algorithms is that some are completely win-based, and others are completely placement-based, but none take both into account.
win-basedなアリゴリズムはEloレーティングとかで、placement-basedはテニスのランキングとかに当たる。どちらも重要だと考えて両方をmixするアルゴリズムを作ったらしい。
The decision to target a list of 50 players was made the year before I joined PGstats, but it turned out to be quite convenient—I don’t think my algorithm is able to differentiate between players too far beyond the top 50 with only 6 months of data, so this remained a reasonable cut-off point.
PGRのスマブラ4とスマブラSP部門は長年Top50の発表だったが、もっと多く発表しろという声が多くあった(俺もそう言ったことがある)。著者のPractiralTAS曰く、PGRのアルゴリズムは50位未満のランキングを正確に出せない(半年という集計期間では)とのことなので50位にしていたらしい。気持ちはすごくわかる。私が作るJPRもスマ4時代は集計期間が1年で発表人数は200人だったけど、スマSPになって集計期間が半年になり、101位以下はあまり意味のあるものだと思えなかったので100人までにした。一般にランキングは順位が下になれば正確性みたいなものが下がっていくのでこれは仕方がない。ただやっぱり世界規模のランキングで50人は少なすぎるとは思うのでこれは難しい。 We also decided not to publish the PGRU algorithm, which has been a controversial decision we've maintained for years now. There were two main reasons for this. The first is Goodhart’s Law, which states, "When a measure becomes a target, it ceases to be a good measure."
Goodhart’s Law( #グッドハートの法則 )は初耳だった。「計測結果が目標になると、その計測自体が役に立たなくなる」というものらしい。つまりランキングのアルゴリズムが公開されることによってプレイヤーが、ランキングで上に行くための小細工的な戦略を取るようになるので、それを避けたい、ということ。これはちょっと補足が必要だと思っていて、例えばテニスのランキングなんかは公開されていてもうまく動いているのは、PGRのようなパフォーマンスの平均を取るものではなく単純にパフォーマンスを加算していくだけなので、ランキングを上げるための戦略とテニス業界の利益(プレイヤーが大会により多く出場すること)が合致しているので問題が起こらない(JPRも同様)。ただ、スマブラ世界ランキングを加算方式で作るとおそらく強さの基準という意味では機能しなくなる(大会が多い地域に住んでるプレイヤーが有利になりすぎる)ので、これは仕方がない決断だと思う。実際に、非公開であってもランキング向上のために有利な大会にだけ出る動きがあったらしい。(even now, players have already started to weigh options and choose whether or not to attend PGR-ranked events based on whether they believe their rank will be helped by attending) There’s also a reason why PG is the only esports organization building Smash rankings: the return on investment is very small, even before taking into account the amount of work required. In fact, it took years before the PGR started to show any return on investment at all.
ランキング作成は儲からない。悲しみ。私もスマSP時代になってredbull.comさんに記事を書かせていただくようになって(2019年上半期と下半期。みんなアクセスしてね)ようやくお金になったけど、時給換算するとバイトの方がはるかに効率がよいのでやはり厳しい世界。 Up until the Fall 2019 PGRU, we felt this was a necessary evil to maintain an accurate, impartial (which is not to be confused with “unbiased”, algorithms are often biased) ranking system.
necessary evil(必要悪)という言葉が印象的。スマブラ界隈は(メジャースポーツと違い)まだまだ発展途上で、プレイヤーの大会出場も大会の供給も安定していない。そのため、ランキングのアルゴリズムを作ってもすぐに陳腐化する。ランキングの質を保つためには頻繁なアルゴリズムのメンテナンスが必要だが、これは公平性という聖域に立ち入る行為でもある。悪意をもって捉えれば、ランキングのメインテナーによってランキングの操作が可能ということになる(有名な邪推として、Panda Globalが作ってるランキングだからPanda Global所属のプレイヤーが高く評価されてるのではないか、というのがある)。necessary evilとはそういう意味だ。私自身もランキング作成を始める時にはここらへんを踏まえて"腹を括った"経験があるので非常に共感できる。
Beginning season 3 (which started on December 15, 2019), PGRU will become a panel-based system, using the same ballot process as MPGR.
そんなこんなで葛藤があり、アルゴリズムベースからパネリスト方式になった。私としては賛成。以前に良いデータと良いランキングで書いたように、良いランキングは良いデータから生まれる。スマブラは、世界規模で見るとまだまだ良いデータとは言えない(不十分で偏りがある)ので、システムで解決するのは無理がありそう、という印象。この記事の冒頭にパネリスト募集の文章がわざわざ日本語で書かれていることからわかるように、英語圏だけでなく日本語圏からのパネリストを求めていることがわかる。以前からX-factorという名前でパネリスト方式のシステムがあったが、これに参加した日本人は下手したら私だけなんじゃないかな？少なくともごくわずかなハズ。こういう意味では、PGR側からすると、日本人は世界ランキングに多く名前を連ねているのに、ランキングの議論にはほとんど参加しない方々ということになる(言語の壁はもちろんだけど、それだけではないと思う)。パネリストは誰でもなれるわけではないけど、招待制ではなくパネリスト募集フォームが公開されているので、みんなも参加しましょう。