🦊Chroma
🏠 | 🦊雑に学ぶComfyUI
👈 | 🦊Flux
👉 |
FLUX.1-schnellの脱蒸留モデル
参考
https://comfyanonymous.github.io/ComfyUI_examples/chroma/公式workflow
モデルのダウンロード
$ path\to\ComfyUI\models\diffusion_models
https://huggingface.co/lodestones/Chroma/tree/mainlodestones/Chroma
https://boards.4chan.org/g/thread/106240788/adt-anime-diffusion-thread-7#p106242850どのバージョンが良いかは人や場所により評価が割れている(この引用はv48のほうがv50より良いと評価している)
いったん目標としていたv50まで出たため、最新モデルでなら画質重視ならannealed(高解像度などで学習したらしい)、速度重視ならflash-heun(蒸留してheunサンプラー等で10ステップCFG1で出力可能)を選ぶと良い
VAEはFluxと同じ
workflow
https://gyazo.com/ec7e30a278fd334c2cc56410005ffa17
Chroma.json
🟩モデルの読み込み
weight_dtypeをfloat8_e4m3fnにするとVRAM 12GBで動く
🟪Flux.1と違い、ChromaではT5のみ使用
(元のFlux.1からだが)flan-t5-xxlを使うと僅かにだが解剖学的な崩壊率などが下がる(プロンプトの理解力が上がる副産物とも思われる)
🟥ComfyUI_FluxModのChromaPaddingRemoval ノードと同じようなことをする(多分)
ComfyUIではCLIPTextEncodeがトークンが77になるように分割するが、トークンが足りなかったときはpadding(ゼロ)で埋める
これが品質に影響を及ぼしている可能性があるため、padding部分を切り捨てる
https://www.reddit.com/r/StableDiffusion/comments/1kflpsr/comment/mqslkqm/?utm_source=share&utm_medium=mweb3x&utm_name=mweb3xcss&utm_term=1&utm_content=share_buttonepoch28のチェックポイントでは標準のcomfyui nodeでは(Scheduler等によっては)ノイズが残りやすいらしい
対処法としてはhttps://github.com/silveroxides/ComfyUI_SigmoidOffsetSchedulerChroma向けの専用SchedulerのCustomNodeを使うか、bata Schedulerが推奨のようだ。
GGUF
モデル
$ path\to\ComfyUI\models\unet
https://huggingface.co/silveroxides/Chroma-GGUF/tree/mainsilveroxides/Chroma-GGUF (一番新しいものを選ぶ)
cf. GGUFモデルの選び方
🧬カスタムノード
https://github.com/city96/ComfyUI-GGUFComfyUI-GGUF
https://gyazo.com/08d0f2afaffdf451df3127ea641db4e9
Chroma_GGUF.json
🟩Unet Loader (GGUF)ノードでGGUFモデルを読み込み
https://www.reddit.com/r/StableDiffusion/comments/1kvenmw/psa_flux_loras_works_extremely_well_on_chroma/?utm_source=share&utm_medium=mweb3x&utm_name=mweb3xcss&utm_term=1&utm_content=share_button参考程度ですが、Fluxがベースになっており、レイヤーそのものの順序などをいじっていない為か既存のFlux.1用loraが適用できる事もあるようです
(個人の感想)ホントに効果の大小に加えて生成の安定性も物によっては作画が不安定になる(指が、酷い時は全身おかしくなったりする)ので1〜0.5程度の適用でそれなりに安定できるスイートスポットがあればラッキー位の感覚です。(指がおかしくなってる位なら低強度での適用にすれば使える可能性があります、全身の時は多分無理です…)
#Chroma(画像生成)モデル