🦊Flux
🏠 | 🦊雑に学ぶComfyUI
👈 | 🦊切り抜き
👉 |
FluxはStability.aiのメンバーが独立して立ち上げたBlack Forest Labsが発表したStable Diffusion 3と似たようなアーキテクチャの画像生成モデルです
SDXLとの違いとしてUNetがtransformerに置き換えられていることと、プロンプトを理解する部分にT5というLLMが使われていることがありますが、ありがたいことにComfyUIIではあまり気にしなくても使えます
ややこしい方のやり方
モデルのダウンロード
CLIPとT5
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/maincomfyanonymous/flux_text_encoders
clip_l.safetensors
t5xxl_fp16.safetensors or t5xxl_fp8_e4m3fn.safetensors
$ path\to\ComfyUI_windows_portable2\ComfyUI\models\clip
FLUX
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/mainflux1-dev.safetensors
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/mainflux1-schnell.safetensors
devのほうが高性能ですが、その分マシンパワーが必要です
$ path\to\ComfyUI_windows_portable2\ComfyUI\models\unet
https://gyazo.com/8f511f52b7493ce85021ab68128a762d
FLUX_dev.json
Flux.1-dev/schnellはCFGを蒸留したため1.0に固定、つまりNegaitve Promptがありません
ただし、モデルがどの程度条件に従うかのパラメータは欲しいので、ComfyUIではFluxGuidanceというパラメータで似たようなことができます
Negative Promptに関しては、FluxはT5というLLMでプロンプトの理解力を上げているので、書かせたくないものは"not 〇〇"という風に書かせれば良いということになっています
が、ChatGPT相手ですら否定形のプロンプトはやめろとOpenAIが言っている(出典忘れた)ので、多分あまり意味ないです
簡易版のやり方
Stable Diffusionと同じ様にweight/CLIP/vaeをcheckpointにまとめて、KSamplerを使ったシンプルなworkflowで推論できるようにしたのがこちら
モデルのダウンロード
https://huggingface.co/Comfy-Org/flux1-dev/tree/mainflux1-dev-fp8.safetensors
https://huggingface.co/Comfy-Org/flux1-schnell/tree/mainflux1-schnell-fp8.safetensors
https://gyazo.com/74b6db8807c043db13d112428de4e13d
FLUX_dev_checkpoint.json
GGUF
LLMで使われていた技術ですが、これをFluxに応用してSDXL-Turboのように高速・計量で画像生成できるようにします
→ ComfyUI-GGUF
LoRA
https://gyazo.com/9a1c13b03c5754c2ee387d3e70f837f7
Flux_LoRA.json
ControlNet
https://gyazo.com/fcc766d3183371e81f9dc3713dbc729a
Flux_ControlNet.json
重すぎるのでGGUFと併用
対応しているのはInstantXから出ているモデルのみ
https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-UnionInstantX/FLUX.1-dev-Controlnet-Union
XLabs AI版のモデルは非対応
inpainting/outpainting (ControlNet Inpaint)
ControlNetモデル
https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha/tree/mainFLUX.1-dev-Controlnet-Inpainting-Alpha
https://gyazo.com/0f5054b2bc3960a2a8ae57f81c74fa92
Flux_outpainting.json
基本的には🦊outpainting#65a1174ae2dacc0000312207と同じ形
🟦ただし、ControlNetInpaintingAliMamaApplyノードという、このControlNetモデル専用のノードを使う
🟨BiRefNetで作ったマスクを少し拡張してControlNetとSet latent Noise Maskノードに接続
ControlNetが異常に強く効くのでend_percentを0.1にしているけれど、これが正しい動作かは自信ないnomadoor.icon