モデルの扱えるトークン数の比較
context windowの長さを比較したい
table:トークン数
モデル名 context windowの長さ 備考
Gemini 1.5 Pro 2000000
Gemini 1.5 1000000 内部的には1000万まで達成しているらしい
claude 2.1, Claude 3 Opus, Claude 3.5 Sonnet 200000
GPT-4o, GPT-4 Turbo 128000 GPT-4oはtokenizerの改良で日本語が40%多く読めるようになった
Source
Gemini 1.5 Pro /villagepump/Google I/O 2024#664424715f1e0d00009d4abb
GPT-4o https://platform.openai.com/docs/models/overview
https://www.anthropic.com/news/claude-3-5-sonnet
Claude 3 Opusも200000でいいんだよね...？基素.icon
All Claude 3 models support vision and 200,000 token context windows.
https://www.anthropic.com/api
from 雑談 2024年2月
今って、どれぐらいの情報を一度に扱えるんだっけ？基素.icon
GPT-4 Turboが128000token
https://platform.openai.com/docs/models/continuous-model-upgrades
Gemini 1.5が100万token
こっちは動画も扱える
1 時間の動画、11 時間の音声、30,000 行以上のコードベース、70 万以上の単語など、膨大な量の情報を一度に処理することが可能となります。
https://cloud.google.com/blog/ja/products/ai-machine-learning/gemini-on-vertex-ai-expands?hl=ja
内部的には1000万tokenできているらしいから、そうすると30万行のコードベースか
後2桁増やして10000万tokenぐらいになると、多くのサービスのコードがまるまる入れられそう
複雑なChromiumのコードは4000万行あるからこれでもまるまるは無理
一時みんなコンテキスト長ばっかり競ってたけど最近あんまり注目されなくなったなnomadoor.icon
Claude 2.1が200k
ただしハルシネーションがひどいという研究がどっかにあった気がする
それだと実用できないな基素.icon
トークン長によるハルシネーション
無限の我らがRWKV
よく分かっていないけど、何でも無限にできるらしいStreamingLLM
奇しくも2月14日に1MトークンでハルシネーションなしLLMが出ていた
Large World Models
LLMじゃないなこれ、しっかり論文読みます