KTransformers
https://github.com/kvcache-ai/ktransformerskvcache-ai/ktransformers
https://kvcache-ai.github.io/ktransformers/公式ページ
Transformers互換のGGUFベースの推論ライブラリ
llama.cppより高速と書かれている
DRAMが382GBあればお家でDeepSeek-R1が動く!!morisoba65536.icon
流石にそんなにないです…morisoba65536.icon