コンテキストウィンドウ

https://scrapbox.io/files/664d8f0c2749ad001cba82fd.png

LLMにおいて、入力できるトークン数のこと

下の動画、必見！

https://youtu.be/KlZ-QmPteqM?si=1NKMPZm2aQSZ7lTJ&t=1174

どれだけ、過去の情報を参照できるか？

チャットセッション中にどれだけの情報をどの程度の期間、記憶として保持できるか？を表す

具体例

例えば、ユーザーが最初に自分の犬について言及する会話の場合　

ChatGPT、私の犬について話させて...

その後、数メッセージ経って、ペットについて言及するとします。

私は私のペットと楽しい時間を過ごしています...

より大きなコンテキストウィンドウを持つLLMは、ユーザーの以前のメッセージを記憶し、「ペット」とはユーザーの犬を指していることを理解できる。

コンテキストウィンドウの容量が小さくて起こる問題

チャットセッションの途中で忘れる

会話が進むにつれて、話題からそれたり、指示から離れたりしてしまう

プロンプトで一度に入力できず、分割しなければならない

プロンプトで一度に使うことができるテキスト量に限界があるため、たとえば長文を要約するときは、たいていテキストを複数の塊に分けて、少しずつ要約する必要がある。

コンテキストウィンドウの容量が大きいと、たとえばPDF全体を一度に貼り付けて、それを分割することなく一気に要約させることができる。

LLM 別のコンテキストウィンドウの詳細