koboldcpp
https://github.com/LostRuins/koboldcppLostRuins/koboldcpp
https://github.com/LostRuins/koboldcpp/releases/tag/v1.29koboldcpp-1.29
KoboldAIのUIを使ってGGMLモデルを動かす
exeでリリースされているのでシンプルで分かりやすい
いつからか(初めから？)不明だが、llmだけでなく画像生成やWhisperにまで対応した魔改造アプリと化しているmorisoba65536.icon
https://github.com/LostRuins/koboldcpp?tab=readme-ov-file#improving-performanceVulkanにも対応していた(≒大体のグラボで動く)
試しに使っては見たけど画像生成UIはやや貧弱なのでComfyUIが動く環境があるならそちらで良さそうではある
VRAMがあればChatと同時に読み込んでそのまま使えるらしいのでそちらの用途向けか
#GGML
一応派生元(ここから魔改造されている)
#llama.cpp
関連？
#stable-diffusion.cpp