Ollamaを使ってLLaVAを試運転する

本記事では、Ollamaを用いてLLaVAを試運転する流れをまとめる。Linux上での実行を前提としている。

Ollamaとは

ローカル環境でLLMを動作させることができるオープンソースのツール

LLaVAのほかにも、LLaMAなどのLLMを利用することが可能

Ollamaのインストール方法

https://scrapbox.io/files/6808eb8148a1b5e95fb8a3d0.png

Ollamaの公式サイトにアクセス

「Linux」をクリックし、出現するコマンドをターミナル上で実行する

ollamaコマンドが使えるようになる（マシンの再起動が必要な場合あり）

今回はPythonでLLaVAを利用するため、Ollamaライブラリもインストールしておく

pip install ollama

LLaVAの利用方法

https://scrapbox.io/files/673e8a3e004d4f98df37c354.png

今回は、上のような画像を与えて、「この画像には何が写っていますか？」という質問に回答してもらう

まずはOllamaを起動する

ollama serve

別のターミナルを立ち上げる

LLaVAのモデルをダウンロードする

今回はLLaVA-7bというモデルを利用する

ollama pull llava:7b

少々時間がかかる

PythonでLLaVAを利用する

code:python

#プログラムの例

import ollama

res = ollama.chat(

model="llava:7b", #モデル名を指定（llava:7b）

messages=[{

'role': 'user',

'content': 'この画像には何が写っていますか？', #質問文（日本語でも動いた）

'images': '/path/to/your/image.jpg' #画像パス

}]

)

#回答を出力

print(res'message''content')

出力例：「The image shows a stylized, artistic depiction of an apple with wings. The wings are large and spread out behind the apple, giving it an ethereal appearance. There's also a leaf atop the apple, adding to its realism. The background features a sky with clouds and rays of light shining through, creating a sense of upliftment or divinity.」

（訳：その画像には、翼の生えたリンゴが芸術的かつスタイライズされた形で描かれています。翼は大きく広がっており、リンゴの背後に広がっているため、幻想的な印象を与えます。また、リンゴの上には葉があり、リアリズムを高めています。背景には空が描かれており、雲とそこから差し込む光の筋が神聖さや高揚感を演出しています。）

概ね画像を詳細に説明できていることが分かった

質問はなるべく英語で入力した方がよさそう

参考記事

Ollama公式サイト

https://ollama.com/

Ollamaリポジトリ

https://github.com/ollama/ollama/blob/main/docs/api.md

LLaVA公式リポジトリ

https://github.com/haotian-liu/LLaVA

その他

Visual Instruction Tuningの内容まとめ

LLaVA（Large Language and Vision Assistant）