Many-Shot
https://x.com/ottamm_190/status/1792480943296610749
スタンフォード大からMany-Shot In-Context Learning in Multimodal Foundation Models
https://arxiv.org/abs/2405.09798
CMUから 長文コンテキスト + ICL論文
DeepMindから Many-Shot + ICL論文
DeepMindからGemini 1.5: Unlocking multimodal understanding across millions of tokens of context
https://arxiv.org/abs/2403.05530
Geminiに長いコンテキストを挿入してRAGと性能を比較する実験
その結果、ロングコンテキストLLMは一定のパラダイムシフトをもたらす可能性を示唆している。
https://x.com/ai_database/status/1805166572543324516
Many-shot jaibreakingというように、いい側面だけではない。
コンテキストウィンドウの拡大は、新たな脆弱性を産むことにつながる