llama.cpp
#LLMライブラリ
#LLM
#生成AI
https://github.com/ggml-org/llama.cpp
LLM推論エンジン
実際にLLMを推論してる所
ggml
が基盤