GPT-4におけるコンテキストウィンドウとRecallの関係
GPT-4 TurboでコンテキストウィンドウとRecallの関係を調査した方がいる
GPT-4のリコール性能は、73Kトークンを超えると低下し始める
低いリコール性能は、リコールされるファクトが文書の深さ7％～50％の間に配置された場合に相関する
ファクトが文書の先頭にある場合、コンテキストの長さに関係なくリコールされる。
https://scrapbox.io/files/65abec63c8311b0024c06c65.png
https://twitter.com/GregKamradt/status/1722386725635580292/photo/1
https://github.com/gkamradt/LLMTest_NeedleInAHaystack/blob/main/README.md
関連
Lost in the Middle論文
Claude3の長いコンテキストウィンドウに関するTips