コンテキスト圧縮

LLM関連の用語

1. 文章の要約を頼むと起こる

長文が短くなる

重要な事柄が抜け落ちる

2. AIの限界（しきい値）に達すると起こる

コンテキストウィンドウの上限

AIが入力を扱い、記憶していられる上限

“Jeff is amoral.”（ジェフは不道徳だ。）

この場合、「a」は単語ではなく、 moralという単語の意味を大きく変える要素です。そのため、Amoral は次の2つのトークンに分解されます。1つは a もう一つは moral.

LLMが予測によって文章を出すのは、こういったことの積み重ね

「a」1文字だけでもさまざまな考慮事項が存在する

それがアルファベット26文字、ひらがな、カタカナ、漢字、数字、記号にも存在する

上限を大きくするとコストも相応にかかり、出力も遅くなる

限界によって発生するとデメリットが大きい

それまでのやりとりが抜け落ちる

ハルシネーションを引き起こす

使用しているコンテキストが一杯になったときに出てくる無慈悲なメッセージ。しばらく待たないといけないのと、コンテキスト圧縮するのでこの後、頭も悪くなる（指示を忘れたりする）

AI側からコンテキストウィンドウの節約をしてくるときもある

コンテキストの圧縮を運用技術に落とし込む

さまざまな手法でコンテキストの整理をしている

書き出し（Write Context）

選択（Select Context）

圧縮（Compress Context）

分割（Isolate Context）