ドラフトモデル
簡単に書くと「小型モデルで投機的デコードして、大型モデルと一致するトークンだけ残す」 推論結果をちゃんと出すより「すでに出てるトークンが(自分が出したいものと)一致するか」をチェックする方がはるかに速いので、それを利用して小型モデルにドラフトを出させて大型モデル側は添削していく。
基本的にはトークナイザーが一致している必要がある。
つまり原則同じ系統のモデルでサイズ差バリエーションがある時のみ使用可能
利点は古い投機的デコードな事もあり、使える環境(Framework、ライブラリ)は多い事。
欠点は「ドラフトモデルの推論分のVRAMや計算資源」がそのまま必要なこと。
要するに結構VRAMも計算資源も使う。
当然コンテキストが伸びれば相応にそれらも増える⋯
総合的に見て現在としてはやや古い投機的デコード手法、という位置づけ
一応今使う利点として、小型モデルの性能向上の恩恵をストレートに受けられるのでQwen3 0.6Bのような最小クラスのモデルを使って加速を狙える、と言う利点は出てきた。
モデルの速度差が大きいほど効果も高いのでドラフトモデルがより小さくて精度が高ければ高いほど相対的に効果も高くなる。