🦊LLM/MLLM
👈 |
👉 |
ComfyUIではLLM/MLLMも使うことができます
といっても、テキストや画像を受け取ってプロンプトに従って値を返すだけなので、ChatGPTのように会話を楽しんだりすることはできません。(できるカスタムノードもあるにはある)
今のところメインの使い方はプロンプト生成でしょうか
LLM/MLLMを使うための3つのアプローチ
API
APIを通じておなじみのChatGPTやGeminiとComfyUI上でやり取りする方法です
公式でAPIノードが用意されているため、気軽に使うことができます
https://gyazo.com/2a63473ca70b10229cea54e4271c8ed1
ただし、ローカルで完結させたいという欲望には少々悖るところがあります
ComfyUI上で動かす (ローカル)
モデルをComfyUIにダウンロードし動作させる、わかりやすい方法です
https://gyazo.com/973675161ae8af0e9cea9ae84693cfb9
llama-cpp-pythonなどを使ってQwen2.5のような重量級のLLM/MLLMを動かすカスタムノードもあるのですが、LLMの進歩スピードにメンテナンスが間に合わなくなって放置されることが多いため、あまりオススメできません 外部ソフトウェアと連携させる (ローカル)
ComfyUIがローカル環境で拡散モデルを動かすためのツールとして開発されているのと同様に、LLM/MLLMをローカル環境で動かすために開発されているツールもまた数多くあります
餅は餅屋ということで、それらと連携することでLLMを使います
https://gyazo.com/b7220d2efca6bd8572f48810da276b43