afm
GitHub - scouzi1966/maclocal-api: 'afm' command cli: macOS server and single prompt mode that exposes Apple's Foundation and MLX Models and other APIs running on your Mac through a single aggregated OpenAI-compatible API endpoint. Supports Apple Vision and single command (non-server) inference with piping as well . Now with Web Browser and local AI API aggregator · GitHub
Apple Intelligence対応Macで利用できるFoundation Model（Apple製のLLM）やMLX（Apple Sillicon用の機械学習フレームワーク）のモデルをOpenAI API互換のAPIとして利用可能にするツール。
MLXのモデルはHuggingfaceでmlx-communityで公開されている。
OSSとして公開されているLLMをMLXモデルに変換して公開している。
使い方
インストール
あらかじめ「システム設定」でApple Intelligenceを有効化しておく必要がある。
Homebrewを使ってインストールできるようにtapが公開されている。そこからインストールするのが手っ取り早いだろう。
$ brew install scouzi1966/afm/afm
OpenAI API互換APIとWeb UIを起動
$ afm -w # Foundation Modelを使用する場合
$ afm mlx -m mlx-community/gpt-oss-20b-MXFP4-Q8 -w # mlx-community/gpt-oss-20b-MXFP4-Q8を使用する場合
ダウンロードされたモデルは~/Documents/huggingface/modelsに保存される。
APIはhttp://localhost:9999/v1でlistenされる。
Web UIはWebブラウザでhttp://localhost:9999/にアクセスすることで利用できる。
他アプリからafmのOpenAI API互換APIを経由してFoundation Modelを使えるようになる。
Zedで使えるようにする
~/.config/zed/config.jsonのlanguage_modelsプロパティを追加する。
code:~/.config/zed/config.json
{
"language_models": {
"openai_compatible": {
"afm": {
"api_url": "http://localhost:9999/v1",
"available_models": [
{
"name": "foundation",
"max_tokens": 4096,
"max_output_tokens": 4096,
"max_completion_tokens": 4096,
"capabilities": {
"tools": true,
"images": false,
"parallel_tool_calls": false,
"prompt_cache_key": false,
"chat_completions": true,
},
},
],
},
},
},
}
Foundation ModelをOpenCodeで使えるようにする
といってもコンテキスト長が4096までなので、やりとりを1回するだけで終わってしまう。mgn901.icon
~/.config/opencode/opencode.jsonのproviderプロパティを追加する。
code:~/.config/opencode/opencode.json
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "macafm (local)",
"options": {
"baseURL": "http://localhost:9999/v1"
},
"models": {
"foundation": {
"name": "foundation"
}
}
}
}
}
A3113（M3 Macbook Air・8コアCPU、10コアGPU、16GB）で試した結果 mgn901.icon
https://gyazo.com/50de31d8c8d03a51fa08646847d23bae
「ジョブズ・オフィス・スタイル」とは……？mgn901.icon
Foundation Modelは快適に動作する。
Gemma 3（mlx-community/gemma-3-4b-it-4bit）やgpt-oss（mlx-community/gpt-oss-20b-MXFP4-Q4）はメモリを大量に消費し、16GB環境ではスラッシングが発生してしまう。