大規模言語モデルが進化すると賢さが主観的にわかる人は少なくなっていく
@ImAI_Eruel: 最近「生成AIの今後」みたいのを話す場面で触れてたんですが「普通の人がわかる性能発展としてはGPT-4o」がほぼ限界ラインで、OpenAI o1レベルになると、日常使用レベルではオーバーキルで、o1のありがたみを感じられる推論が必要な場面はほぼないという気もします。 「収益を出せる生成AI」としては、現在の傾向の「大規模モデルをいかに小型・高速化するか」の、いわゆるローカルLLMやAIエージェントの手法が引き続き主流のままという気がします。
一方で、われわれのような研究者や開発者、金融などの高度な推論が必要な場面で、単なる生産性向上を超えて新しい発見につながるツールとしての生成AIの発展は、まさにo1の方向が今日開かれた、という感じでしょうか。
https://youtu.be/RVKXZDrNInk
賢さをわかるためには、その人たちより賢い必要がある
Aより100倍賢いBを判定するCが、「BをAの100倍賢い」と思うためにはCさんがその人たちをわからなければいけない
ここでいう賢いって何？基素.icon
実際にはさまざまな指標を使って賢さを定量化する基素.icon
しかしGPT-3の段階で既におおむねの人類より賢そうである 2023/7/12 追記：GPT-3には解けない問題をわざわざ用意しなくても、数時間利用すれば明らかにGPT-4の方が賢いとわかると思う基素.icon
code:zsh
P4=主人公Aが出来事にどのように対処するかを考える Goal: A という主人公がなんらかの出来事を経験して、 自分の能力を使ってA'という状態になったというのが物語である UberEats配達員を主人公とした物語のあらすじをひとつ考えてみてください Goal: {Character} {Event}を経験して、 {Ability} を使って {Character'}という状態になったというのが物語である UberEats配達員を主人公とした物語のあらすじをひとつ考えてみてください Goal: 主人公 {Character} {Event}を経験して、 {Ability}を使って成長し{Character'}という状態になったというのが物語である UberEats配達員を主人公とした物語のあらすじをひとつ考えてみてください O1 = 主人公Aは、 夢を追い求めるために都会へ出てきたが、 現実の厳しさによりUberEats配達員として働いている。 O2 = 主人公Aは、 配達中に出会う人々の悩みを解決する特別な能力を持っている。 O3 = 主人公Aが配達中に出会った様々な困っている人々との出来事。 O4 = 主人公Aは、 出会った人々の悩みを解決することで彼らに感謝され、成長する｡ O5 = 主人公Aが最後に出会った人物の悩みを解決し、 自分の夢にも一歩近づくことができる。 O{END} = 主人公AはUberEats配達員として働きながら、 出会った人々の悩みを解決していく。 その過程で自分の能 出版の話がきているが、どんなに早くても2ヶ月かかる。2ヶ月後が予想できないので書けない
パラメータを増やせばいいというものではないというのは、たとえばStableDiffusionを見るとわかる。
パラメータ数を増やし、大きくしてさらに学習を重ねたSD2.0(引用者注：Stable Diffusion 2.0)は却って退化した部分もあり、今はSD1.5を自分のデータでファインチューニングしたり、LoRAなどの技術と組み合わせたりする方が狙い通りの絵が出しやすいことが知られている。