ComfyUI-GGUF
https://github.com/city96/ComfyUI-GGUFcity96/ComfyUI-GGUF
FLUX(に限らず)のGGUFモデルをサポートするためのComfyUIカスタムノード
GGUFモデル
https://huggingface.co/city96/FLUX.1-dev-ggufcity96/FLUX.1-dev-gguf
https://huggingface.co/city96/FLUX.1-schnell-ggufcity96/FLUX.1-schnell-gguf
$ path\to\ComfyUI\models\unet
に保存
https://gyazo.com/4859ef114490436740cdc8e16b632bb9
FLUX_dev_gguf.json
🟩モデルをUnetLoaderGGUFノードで読み込む以外は基本的なtext2imageのworkflow
テキストエンコーダのT5もGGUFに置き換えることができる
T5のGGUFモデル
https://huggingface.co/city96/t5-v1_1-xxl-encoder-ggufcity96/t5-v1_1-xxl-encoder-gguf
worklfow
https://gyazo.com/eec10d10c6370ef578124a1b919b9024
FLUX_dev-T5_gguf.json
🟨DualCLIPLoader (GGUF)ノードを使用
q8で試したが、fp16と生成時間がほとんど変わらなかったnomadoor.icon
生成時間の観点では、そもそもggufは生成時間を犠牲にVRAM使用量を減らすので伸びる
正直なところT5はあまりGGUF化するメリットはない(これが必要な人はFlux.1本体を少なくともQ4クラス以下にする必要がある場合、ストレージ節約にはなる)morisoba65536.icon
LLM以外でもggufにできるんだ…nomadoor.icon
UNetじゃなくてDiTだからいける
SD3でも多分いける