LM Studio
https://gyazo.com/9909873627a6b669cccd854c10668862
Windows, macOS, Linuxに対応
以下のツイートで知った
Mac Book Pro M2の96GBメモリのマシンでコマンドR+ 1040億パラメータモデルを動かしてみた。このくらいのスピードで動く。これなら悪くないような気もする。
これもLM studioから利用できた。
【Phi-3-mini】たった3.8BなのにGPT-3.5よりも高性能な小型LLM | WEEL