トークン長によるハルシネーション
https://bito.ai/blog/claude-2-1-200k-context-window-benchmarks/Claude 2.1 (200K Context Window) Benchmarks - Bito
https://gyazo.com/3a2f28f4e31cd30c5b3931e0d721f632
Claude 2.1 の拡張コンテキスト ウィンドウの限界をテストするために、「干し草の山の中の針」テストと適切に名付けられた包括的な分析が実施されました。目標は、Claude 2.1 が文書のさまざまな深さからの情報をどれだけうまく思い出せるかを理解することでした。
Claude 2.1
https://arxiv.org/abs/2402.10171Data Engineering for Scaling Language Models to 128K Context
https://largeworldmodel.github.io/Large World Models
https://gyazo.com/992fa023e9406dc7ecb694480fb286e9
そうはならんやろwogikaze.icon
Gemini 1.5
https://gyazo.com/2ada8f922f080e7f1f04a92f4e1662a5
Command-R
https://gyazo.com/c00ebc417785d3882f4d50ff72767800
Grok-1.5
https://gyazo.com/97ab3d3403611af3e32813a7786b46db