LLMにおける記憶のチャンク化

モデルそのものが知ってる構造の名前をプロンプトに適用することで、短期記憶であるプロンプト、コンテキストウィンドウを節約する

モデルにある記憶を使って、プロンプトを圧縮する

モデルが知らないような用語は避ける方が良さそう

数学用語が厳密な定義を積み上げて、1つの用語が膨大な知識を圧縮してるのに似てる