Ollama

ローカルLLMを簡単に実行できる

REST APIサーバーが自動で起動する

標準対応していなくても、Modelfileで簡単に追加できる

ollama show -h

HTTP サーバーとして実装されているため、LLM を専用マシンに分離することも簡単

OLLAMA_HOST(default 127.0.0.1:11434))

11434 == llama

日本語最適化ELYZA Llama3 8B

Llama-3-ELYZA-JP-8B-q4_k_m.gguf