LocalAI
https://gyazo.com/fcbcb4f7276337a9a9a1c8e4dd06fb6f
https://github.com/go-skynet/LocalAI
go-skynet/LocalAI
https://localai.io/
Doc
ローカルなLLM(
ggml
形式)やStable Diffusion/Whisperを
OpenAI API
互換で使えるようにする
REST API
https://gyazo.com/41704374d0d38446c86aec991fd980f7
LocalAIは
Go
で書かれたAPIで、OpenAIのシムとして機能し、すで
にOpenAI SDK
で開発されたソフトウェアがLocalAIとシームレスに統合できるようにします。
GPUも使えるが、基本CPUで動作する
cpp
モデルを使う