koboldcpp
https://github.com/LostRuins/koboldcppLostRuins/koboldcpp
https://github.com/LostRuins/koboldcpp/releases/tag/v1.29koboldcpp-1.29
KoboldAIのUIを使ってGGMLモデルを動かす
exeでリリースされているのでシンプルで分かりやすい
#GGML