Local LLMについて

Local LLMを動かすPC/serverについて

VRAMが多いPCを使おう．僕が使っているのは，2026年2月段階では次のもの：

Macbook Air: integrated memory 16GB

MacStudio: integrated memory 256GB

Macは特殊で，システムメモリとVRANが共通になっている（integrated memoryというのはそういう意味）．実質的にVRAMが大きいモデルが格安価格で購入できる．

例えば，MacStudioはintegrated memory 256GBでも，80万円程度（※学生/教員は1割引なので）．80万円でlocal LLMが簡単に実装できるので，おすすめ．

また，軽いLLMモデルなら，Macbook Airでも十分動く．

Ollamaについて

公式サイトからOllamaをDLする

Ollamaはlocal LLMを簡単にインストール/管理するソフト．下の画面．

https://scrapbox.io/files/69896cb72481349a74dfb8a0.png

様々なLLMの性能比較：https://lmarena.ai/ja/leaderboard/text

動かし方（terminal）

ollama pull [モデル名] ← サイトで探して，名前をコピーしてくる

ollama run [モデル名]

モデルの探し方

公式サイトで探して，名前をコピーしてくる．

下の例ではdeepseek-r1:8bを探している

名前は[モデル名:パラメタ数]

https://scrapbox.io/files/69896e8c4cae4c2d7079869e.pnghttps://scrapbox.io/files/69896e27e972608d841b33bd.png

注意（最重要）：もし機密データを扱うためにもLLMが外部ネットワークに繋ぐことを禁止するなら，Airplane-modeに設定すること．

Open WebUI

Ollama単品を入れると，ユーザー1人しか使わないならほぼ完結した環境が手に入る．

しかし，複数人が1つのPCが提供するlocal LLMを利用したいなら，サーバー機能を持たせる必要がある．

サーバー機能を持たせる最も簡単なアプリがOpen WebUI

サーバーのIPアドレスを叩くとhttp接続できるようにするコマンドは下（ただし，orbstackが入っていることは前提）

80ポート（http接続用のデフォルト）をあけたので，IPだけ叩けば良い．ポート指定は不要

ただし，下のコマンドの前に，Orbstackのアプリを起動しておくこと．じゃないと3つ目のコマンドが通らない．

code:bash

cd ~ #ホームディレクトリに移動

mkdir open-webui # 初回だけ；すでにフォルダがあるなら不要なコマンド

docker run -d -p 80:8080 -v .ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama