AIの強さは3変数(データセット数、パラメータ数、予算)に収束する
public.icon
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAI
が発見した
Transformer
のスケーリング法則だと、結局予算のあるものが勝つ
/emoji/twitter.icon
·既存のベンチマーク、SOTA技術、評価方法は無意味·3つの変数はパラメータ数N、データセットサイズD、計算予算CNは誰でも増やせ、DとCはgoogleがトップ。我々が出来ることは今のうちにgoogle株を買っておくしかないんだよ。
https://t.co/kdvUiL4hfF
@
tosshin321
tosshin321.icon
January 5, 2021