ComfyUI-layerdiffusion

今のところSDXLのみ

SD1.5も対応

RGBA画像生成

https://gyazo.com/89bd2ab1f07ad14d200dfa8c898ce7a4

🟩LayeredDiffusionApplyノードで透過画像を生成するためのLoRAを追加している

AttentionとConvが選べるが、基本的にAttentionの方が良い結果になる

🟪VAEDecodeをして出てくるのは灰色の背景を持ったもののため、RGB画像とマスクにデコードしたのち、JoinImageWithAlphaノードで透過画像にする

🟨LayeredDiffusionDecodeRGBAノードは🟪の部分をひとつのノードにまとめたもの

前景を元に背景を描く

うまくいかないので保留

背景を元に前景を描く

https://gyazo.com/e98fa3cfdee8f5a7bcabcc07fadcb994

🟩LayeredDiffusionCondApplyノードに入力するlatentとKSamplerに入力するlatentのサイズは全く同じにしないとエラーが出る

そのため画像サイズを取得して、EmptyLatentImageノードに繋いでいる

背景を元に前景を描くときはBackgroundに

背景の特徴を元に絵を描いてくれるはずだけど、完全に無視して描いてる気がするnomadoor.icon

背景と生成した合成画像から、前景のみを取り出す

合成画像を作る時と、前景を取り出す時の設定が全く同じだとなぜかアーティファクトがでるのであえてseed値を変えているけど多分おかしい

なぜこんなややこしい手順なのかアーキテクチャを理解してないので分かりませんnomadoor.icon