N-gram推測

技術的には昔からあるテキスト生成技術

PCやスマホのIMEとかにもよく使われている「予測変換」とかがこの技術にささえられてる。

簡単に(投機的デコードの文脈で)

すでに書いてあるテキストから同じような繰り返しを予測して(投機的デコードの場合)ドラフトにする。

基本的にはローリスク・ミドルリターンくらいの性能、ただし後述するように「ある程度得意なタスク」と「割と苦手なタスク」が結構明確に分かれる。

性質上、コーティングエージェントによるコードの変更や、HTMLのような構造化文書、検索結果をもとにした回答、Reasoning Modelの回答部分など「これから答える(書き出す)内容にそこまでに表示した文字列が含まれる」場合に非常に軽い計算資源で投機的デコードが可能になる。

逆をいうと「複雑な(繰り返し性の低い)アルゴリズムを一からコードを書かせる」「小説のような創造性が高いと人が思いうような文」「話題が多岐にわたる雑談」「Reasoning Modelの思考部分」のような「繰り返しの少ない出力」では予測の添削の分コストがかかるだけになってしまう。

ただし、「ドラフトをつくる計算資源がほぼタダ(LLMが動くような環境では誤差程度の消費量)」である点は明確な強み。

ドラフトモデルもMTPも動かないくらいにVRAMがカツカツでもこいつなら動く程度には軽い。

ただし「ハズレ続けてもオーバーヘッドほぼタダ」ではないので明確に相性が悪いタスク(創作など)ではさすがにオプションを外して置くほうが良さげ。

コンテキスト長や言語の種類(自然言語もプログラミング言語も含む)などには影響を受けづらいので純粋にタスクの相性のみで採用を決めやすいのも利点。

理屈上は「有効な場面がルールベースでも決め打ちしやすい」上にルールベースの前処理や投機的デコードそのものには(llmが動くようなパワフルなマシンなら)無視できる程度のコストしかかからないため、何らかのかたちで安価に「有効な場面だけONにする」ような事が出来れば実質的なただ飯にできる可能性(Chrome開いてるならそれ閉じるほうが計算資源節約効果がある程度の小リソースにて)はあるmorisoba65536.icon