KTransformers
https://github.com/kvcache-ai/ktransformers
kvcache-ai/ktransformers
https://kvcache-ai.github.io/ktransformers/
公式ページ
Transformers
互換の
GGUF
ベースの推論ライブラリ
llama.cpp
より高速と書かれている
DRAMが382GBあればお家で
DeepSeek-R1
が動く!!
morisoba65536.icon
流石にそんなにないです…
morisoba65536.icon