投機的デコード

やりたい事としては

おおきなllmの推論には時間がかかる

大きなllmが、適当に書かれた下書きが「あっているか判断する」のはそんなには時間がかからない

という性質を利用して、「なんかこれから大きなllmが書きそうなことを予測して先に下書きを書く」→「大きなllmがそれが正しいか検証し、あってればそのまま、間違ってれば大きなllm自身が書き直す」事でトータルの生成速度を速くしたい、と言うもの。

検証も速いとは言え只ではないので、あまりにも外すとかえって遅くなる。

特にロングコンテキスト時は、方式によってドラフトの安定性が変わりやすいのでエージェントなどで使う場合はロングコンテキスト環境下に強い手段を選択する必要がある。