LLMLingua
https://gyazo.com/755c33dfd6148965b40d375315b0e8e2
https://llmlingua.com/Project
https://github.com/microsoft/LLMLingua?tab=readme-ov-filemicrosoft/LLMLingua
https://arxiv.org/abs/2310.06839LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
GPT2-smallやLLaMA-7Bのような、アライメント後によく訓練されたsmall language model(SLM*)を使用して、プロンプト内の重要でないトークンを検出し、ブラックボックスのLLMで圧縮されたプロンプトを使った推論を可能にする。
*追加
LongLLMLingua
プロンプト圧縮を使用して、長い文脈のシナリオで重要な情報を知覚するLLMの能力を強化する手法であり、パフォーマンスを向上させながら、1,000サンプルあたり最大28.5ドルのコスト削減を達成する。
LLMの高速化