ComfyUI-GGUF
https://github.com/city96/ComfyUI-GGUFcity96/ComfyUI-GGUF
FLUXのGGUFモデルをサポートするためのComfyUIカスタムノード
GGUFモデル
https://huggingface.co/city96/FLUX.1-dev-ggufcity96/FLUX.1-dev-gguf
https://huggingface.co/city96/FLUX.1-schnell-ggufcity96/FLUX.1-schnell-gguf
$ path\to\ComfyUI\models\unet
に保存
https://gyazo.com/4859ef114490436740cdc8e16b632bb9
FLUX_dev_gguf.json
モデルをUnetLoaderGGUFノードで読み込む以外は基本的なtext2imageのworkflow
テキストエンコーダのT5もGGUFに置き換えることができる
T5のGGUFモデル
https://huggingface.co/city96/t5-v1_1-xxl-encoder-ggufcity96/t5-v1_1-xxl-encoder-gguf
worklfow
https://gyazo.com/eec10d10c6370ef578124a1b919b9024
FLUX_dev-T5_gguf.json
🟨DualCLIPLoader (GGUF)ノードを使用
q8で試したが、fp16と生成時間がほとんど変わらなかったnomadoor.icon
LLM以外でもggufにできるんだ…nomadoor.icon
UNetじゃなくてDiTだからいける
SD3でも多分いける