GPT-o1
GPT-4
ChatGPT
LLM作成
マルチエージェントシステム
AIエージェント
GUIエージェント(Computer use)
Mixture of Expert
OpenAI o1はどう作るのか（詳細編）
https://note.com/hatti8/n/n867c36ffda45?sub_rt=share_pb
https://x.com/bilzrd/status/1835268749353713920
o1の要素技術の元になってるとされる論文(Quiet-STaR)を読んだ。実際使われた手法が公開されてないので推測にはなるが、以下感想。
学習データのスケーリング、モデルパラメータのスケーリングがともにcapして来た中で、推論時間のスケーリングという新しい探索方向を示したという意味で画期的。
learning to reasoning
https://openai.com/index/learning-to-reason-with-llms/
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
https://arxiv.org/abs/2408.03314
O1 Replication Journey: A Strategic Progress Report – Part 1
https://arxiv.org/pdf/2410.18982
o1 Proを使ってプロダクトのアイデア出しから実装までやってみる！
https://x.com/gyakuse/status/1865767638313660882
A Small Step Towards Reproducing OpenAI o1: Progress Report on the Steiner Open Source Models
https://medium.com/@peakji/a-small-step-towards-reproducing-openai-o1-b9a756a00855
大規模言語モデルのOpenAI、従来手法の限界を打破する新しいAI学習手法「test-time compute」を開発
https://www.atpartners.co.jp/ja/news/2024-11-12-openai-a-large-scale-language-modeler-develops-a-new-ai-learning-method-called-test-time-compute-that-breaks-through-the-limitations-of-conventional-methods