🦊Chroma
🏠 | 🦊雑に学ぶComfyUI
👈 | 🦊Flux
👉 |
Chroma(画像生成)モデルは、FLUX.1-schnellの脱蒸留モデルです
参考
https://comfyanonymous.github.io/ComfyUI_examples/chroma/公式workflow
モデルのダウンロード
https://huggingface.co/lodestones/Chroma1-HD/blob/main/Chroma1-HD.safetensorsChroma1-HD.safetensors
https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn_scaled.safetensorst5xxl_fp8_e4m3fn_scaled.safetensors
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensorsae.safetensors
code:models
📂ComfyUI/
└── 📂models/
├── 📂diffusion_models/
│ └── Chroma1-HD.safetensors
├── 📂text_encoders/
│ └── t5xxl_fp8_e4m3fn_scaled.safetensors
└── 📂vae/
└── ae.safetensors
Chroma1-HD
https://gyazo.com/785955d4ea17d62b361383765fad39c2
Chroma1-HD.json
🟪モデルの読み込み
🟨Flux.1と違い、ChromaではT5のみ使用
🟥VAEはFlux.1と共通
GGUF
カスタムノード
https://github.com/city96/ComfyUI-GGUFComfyUI-GGUF
モデルのダウンロード
https://huggingface.co/silveroxides/Chroma-GGUF/tree/main/Chroma1-HDsilveroxides/Chroma-GGUF
いくつかバリエーションがあるが説明がないのでわからないnomadoor.icon
dc → Detail Calibrated? / fl → Flash?
code:models
📂ComfyUI/
└── 📂models/
└── 📂unet/
└── Chroma1-HD.gguf
https://gyazo.com/c6bbf4169cf121d8ea4b783f1ee2d2fa
Chroma1-HD_gguf.json
🟪Unet Loader (GGUF)ノードでggufモデルを読み込む
v48以前
$ path\to\ComfyUI\models\diffusion_models
https://huggingface.co/lodestones/Chroma/tree/mainlodestones/Chroma
https://boards.4chan.org/g/thread/106240788/adt-anime-diffusion-thread-7#p106242850どのバージョンが良いかは人や場所により評価が割れている(この引用はv48のほうがv50より良いと評価している)
いったん目標としていたv50まで出たため、最新モデルでなら画質重視ならannealed(高解像度などで学習したらしい)、速度重視ならflash-heun(蒸留してheunサンプラー等で10ステップCFG1で出力可能)を選ぶと良い
workflow
https://gyazo.com/ec7e30a278fd334c2cc56410005ffa17
Chroma.json
🟩モデルの読み込み
weight_dtypeをfloat8_e4m3fnにするとVRAM 12GBで動く
🟪Flux.1と違い、ChromaではT5のみ使用
(元のFlux.1からだが)flan-t5-xxlを使うと僅かにだが解剖学的な崩壊率などが下がる(プロンプトの理解力が上がる副産物とも思われる)
🟥ComfyUI_FluxModのChromaPaddingRemoval ノードと同じようなことをする(多分)
ComfyUIではCLIPTextEncodeがトークンが77になるように分割するが、トークンが足りなかったときはpadding(ゼロ)で埋める
これが品質に影響を及ぼしている可能性があるため、padding部分を切り捨てる
https://www.reddit.com/r/StableDiffusion/comments/1kflpsr/comment/mqslkqm/?utm_source=share&utm_medium=mweb3x&utm_name=mweb3xcss&utm_term=1&utm_content=share_buttonepoch28のチェックポイントでは標準のcomfyui nodeでは(Scheduler等によっては)ノイズが残りやすいらしい
対処法としてはhttps://github.com/silveroxides/ComfyUI_SigmoidOffsetSchedulerChroma向けの専用SchedulerのCustomNodeを使うか、bata Schedulerが推奨のようだ。
GGUF
モデル
$ path\to\ComfyUI\models\unet
https://huggingface.co/silveroxides/Chroma-GGUF/tree/mainsilveroxides/Chroma-GGUF (一番新しいものを選ぶ)
cf. GGUFモデルの選び方
🧬カスタムノード
https://github.com/city96/ComfyUI-GGUFComfyUI-GGUF
https://gyazo.com/08d0f2afaffdf451df3127ea641db4e9
Chroma_GGUF.json
🟩Unet Loader (GGUF)ノードでGGUFモデルを読み込み
https://www.reddit.com/r/StableDiffusion/comments/1kvenmw/psa_flux_loras_works_extremely_well_on_chroma/?utm_source=share&utm_medium=mweb3x&utm_name=mweb3xcss&utm_term=1&utm_content=share_button参考程度ですが、Fluxがベースになっており、レイヤーそのものの順序などをいじっていない為か既存のFlux.1用loraが適用できる事もあるようです
(個人の感想)ホントに効果の大小に加えて生成の安定性も物によっては作画が不安定になる(指が、酷い時は全身おかしくなったりする)ので1〜0.5程度の適用でそれなりに安定できるスイートスポットがあればラッキー位の感覚です。(指がおかしくなってる位なら低強度での適用にすれば使える可能性があります、全身の時は多分無理です…)