MTP
Multi-Token Prediction
やりたい事としてはDFlashなどの仲間
DFlashが「外付けの拡散モデルで元モデルの推論を予想する」のに対して、これは「元モデル自身が数トークン先まで暫定でドラフトを書く」という手法をとる。
この為、他の投機的デコードに比べるとロングコンテキストに比較的強い(機能不全化して速度低下につながりにくい)
llama.cppやLM Studioが対応したため、使うだけならMTPって付いてるモデルを落としてきてオプションで有効化するだけで良くなった。
ちょっと素のモデルよりVRAMを使う。速度とはトレードオフ。