Ollama を AMD GPU で動かす on Arch Linux

Update

古い手順

この辺見ながらやったけど、余分なものがいくつかあったので削ぎ落とした内容としている。

ソースから入れる必要があるようだ。

code:sh

# 必要な OS パッケージ

pacman -S rocm-hip-sdk clblast

ghq get git@github.com:jmorganca/ollama.git

cd /path/to/ollama # GHQ のジャンプを使いましょう

# fish を想定した環境変数のセット

env CLBlast_DIR=/usr/lib/cmake/CLBlast env ROCM_PATH=/opt/rocm go generate ./...

go build .

# いざ実行

# この環境変数がないと ollama run したときに serve 側がクラッシュする

env HSA_OVERRIDE_GFX_VERSION=10.3.0 ./ollama serve

# こっちは環境変数いらない あっても困ることはなさそうだが

./ollama run zephyr

無事動いた。

Radeon 系の稼働状況チェックツールを見たところちゃんと GPU を使ってくれてるし、何より GPU なしと比較して速い！

どうでもいいけど実行バイナリが 32GB もある。

code:shell

paru -Ss ollama-cuda

Create, run and share large language models (LLMs) with CUDA

なんだけどな。

まあいいや。

起動を楽にする

さて PKGBUILD を作ってインストールを簡易化してもいいのだが、Ollama に OSS コントリビュートする可能性を考えるとソースからビルドする方式のままの方がむしろ都合がいいと考えた。

ラッパー案

最初にやったのはこれだが、結局後述の systemd 案に変更した。

よってパスの通っているところに以下のスクリプトを設置する。これなら OSS のコードをいじりつつも、パッケージマネージャで入れた場合の使い勝手を維持でき、かつ ROCm 由来の面倒な部分をカットできる。

code:/usr/local/bin/ollama

export HSA_OVERRIDE_GFX_VERSION=10.3.0

EXECUTABLE="/path/to/ollama/ollama"

"$EXECUTABLE" "$@"

Systemd 案

環境変数を記述しておける上に、あまりないがダウン時の自動再起動も設定できる。

上記のラッパー案と見せかけは同じになる。

code:shell

$ sudo ln -s /path/to/ollama /usr/local/bin/ollama

シンボリックリンクをわざわざ用意する利点は以下である。

実行ファイル本体のパスは開発環境の引っ越しなどにより変わる可能性があるが、それに柔軟に対応できる

続いて user の方に systemd の設定ファイルを記述する。

code: /usr/lib/systemd/user/ollama.service

Description=Ollama

Environment="HSA_OVERRIDE_GFX_VERSION=10.3.0"

ExecStart=/usr/local/bin/ollama serve

Restart=always

RestartSec=10

WantedBy=default.target

code:shell

$ systemctl --user enable ollama.service --now