KagglerへのNumeraiのススメ

public.icon

https://res.cloudinary.com/zenn/image/upload/s--UbQFGlIe--/c_fit%2Cg_north_west%2Cl_text:notosansjp-medium.otf_55:Kaggler%25E3%2581%25B8%25E3%2581%25AENumerai%25E3%2581%25AE%25E3%2582%25B9%25E3%2582%25B9%25E3%2583%25A1%2Cw_1010%2Cx_90%2Cy_100/g_south_west%2Cl_text:notosansjp-medium.otf_37:katsu1110%2Cx_203%2Cy_98/g_south_west%2Ch_90%2Cl_fetch:aHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzA3YzJlMDIxYmEuanBlZw==%2Cr_max%2Cw_90%2Cx_87%2Cy_72/og-base.png#.png

Numeraiとは、株価を予測するデータサイエンスコンペです。そのように聞くと、株などの金融商品の価格を予測し、機械的に売買するBotを作ったりするのかな〜面倒くさそう...と思われるかもしれませんが、Numeraiのすごいところは、その本来は煩雑な機械学習の応用を、

train.csv, test.csvが与えられて、fit -> predict -> submit

という、最も簡易なテーブルコンペの形式に変換されているところです。

ですので、Numerai参加者には、金融商品に関する知識、取引のタイミングの考慮や売買ロジックの実装などは求められていません。データをダウンロードし、好きなモデルをfitし、ターゲット予測値を提出して、それで終わりです。

おそらく一番気になるところだと思います笑　Numeraiはヘッジファンドによって運営されており、参加者が提出した予測値のアンサンブルを用いて、実際の売買を行っています。そして、参加者は、運営のアンサンブルモデルにどれくらい貢献したかによって、掛け金に応じた報酬を受け取ることができるわけです。

この仕組みは非常に独特ですが、Kaggleにはない独自の面白さを生んでいます。

また、報酬は基本的に予測値とターゲットのRank correlationに応じたものになるため、±15％を超えることはまずないと思っていいです（25％超えることはまずないですが、その場合は25％でclipされます）。ですので、余程掛け金を冒険しないかぎり、比較的安定した金融資産と捉えることもできます。Numeraiのtournamentは後述しますが、1ヶ月単位のRoundが毎週開催されるため、安定して勝てるモデルが作れれば、あとは毎週末提出するだけでweeklyで+数％稼ぐことも可能です。株や仮想通貨を自分で運用するのは中々大変なので、データサイエンスに自信のある方は、Numeraiをご自身のポートフォリオの1つとして検討されてもいいかもしれません。

(2021/05/22追記)

円やドルでできればそれに越したことはないのですが、Numeraiで遊ぶにはNMRという専用のトークンが必要です。NMR（Numeraireの略）はイーサリアム系の仮想通貨で、Numeraierはこれを任意の金額自分のSubmissionに掛け、報酬もNMRで受け取ります。掛け金ゼロでも予測値を提出することはできますが、どんなに結果が良くても報酬を受け取ることはできません。逆に悪くても掛け金が没収されることはないので、最初は掛けずに始めた方がいいかもしれません...。

優秀な機械学習エンジニアの方でKaggleやっていない方が良く言われるのが、「Kaggleは治安が悪い」というご意見です。確かに、KaggleにおいてはPrivate sharing（チームを組んでいない人にコードをシェア、あるいは売買すること）を始め、初見の人に優しくないDiscussionであったり、自分の実力試しの場としてちょっと...となってしまうのはわかります。Kaggle側も様々な対策を講じていますが、予測精度至上主義の性質上、なかなか難しいのが現状です。

一方Numeraiでは、予測精度だけでなく、メタモデルに貢献できるようなユニークな予測が求められます。そしてその結果が自分の報酬に直結するので、他の人に解法を教えてしまうと最早自分の解法はユニークでなくなり、自分のメタモデルへの貢献度が下がり、結果的に自分の報酬が下がる恐れがあります。こうしたインセンティブ設計は、Private sharing防止に一役買っていると思います。

また、ForumというKaggleでいうDiscussionの場もあるのですが、KaggleやってからForumを覗くと治安が良くてびっくりします。Forumの治安を守るための使い方チュートリアルもあって、いいプラットフォームにしようという運営の高い意識が伺えます