🦊inpainting
🏠 | 🦊雑に学ぶComfyUI
👈 | 🦊image2image
👉 | 🦊outpainting
inpaintingは画像の一部分のみを編集するタスクですが、細かく見ると2種類に分けることができます
1. マスクされた部分のみのimage2image
2. マスクされた部分を周りの情報をもとに埋める
🎨マスクされた部分のみのimage2image
https://gyazo.com/3b4d37c9bb4a46d514f2fc77234718f8
SetLatentNoiseMask.json
🟩シンプルなimage2imageのworkflowにSetLatentNoiseMaskノードでマスクを追加するだけです
マスクを作る方法はいろいろありますが、まずは以下の方法を
画像上で右クリック → Open in MaskEditor からペンで塗りつぶし → Save to node
https://gyazo.com/f8509abf64985a00066d18daa6c5bbda
他 → 🦊切り抜き
🍩マスクされた部分を周りの情報をもとに埋める
さて、上のworkflowのdenoiseを1.00にしてみましょう
https://gyazo.com/51ded9dd3f6c933e4f8b2f35fb37957fhttps://gyazo.com/da4aaecca947510887be73d7e729c3a3
うわぁぉホラー画像
元の画像の情報をほぼまったく持っていないので、マスク部分(右画像)をキャンバスにしただけのtext2imageに近いです
これでは困りますね、全体の雰囲気を見つつ、マスクされた部分を描いてもらう方法はないでしょうか？
🎯inpaintingモデルを使う
一番簡単なのは、このようなタスクに特化したinpaintingモデルを使うことです
モデルのダウンロード
https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/mainsd-v1-5-inpainting.ckpt
https://civitai.com/models/146028/sdxl-inpainting-01-official-reuploadsdxlInpainting01Official_v01-inpainting.safetensors
https://gyazo.com/1aae8934d37e87afab7afb8bbf83935c
inpaintingmodel.json
🟩inpaintingモデルにはマスクされた部分だけでなく、全体の画像も一緒に渡さないといけないのでInpaintModelConditioningノードを使います
髪の色を変えるくらいなら上のimage2imageでも対応できますが、なにかものを描き加えるといったimage2imageでは対応できない場面で真価を発揮します
https://gyazo.com/d0749b470961faaea05304345bc339bb
comparison.json
Inpaintingモデルのほかにも手法があるので見てみましょう
🐉ControlNet Inpaintを使う
inpaintingモデルを使う方法の弱点は、inpaintingモデルを使わないといけないことです(当たり前)
特にStable Diffuison 1.5のものはかなり古いのでモダンな好きなモデルを使いたい場合もあるでしょう
先取りになりますが、ControlNetを使うことでノーマルモデルでもinpaintigできるようになります
🪢カスタムノード
https://github.com/Fannovel16/comfyui_controlnet_auxcomfyui_controlnet_aux
https://gyazo.com/502405e34be5d221292df10ea3d6383e
ControlNet-inpaint.json
一番上で紹介したworkflowにControlNetを組み込みます
🐔fooocus_inpaintを使う
Fooocusで開発された独自のinpaintingモデル(?)を使うという手もあります
ControlNetと同様、好きなモデルをinpaintingに対応させることができます
SDXLのみの対応ですが、SDXL用のControlNet inpaintモデルが存在しないためちょうど代わりとして使えます
実装された → ControlNet Union
🪢カスタムノード
https://github.com/Acly/comfyui-inpaint-nodesComfyUI Inpaint Nodes
モデルのダウンロード
https://huggingface.co/lllyasviel/fooocus_inpaint/tree/mainlllyasviel/fooocus_inpaint
ComfyUI\modelsにinpaintフォルダを作り、fooocus_inpaint_head.pthとinpaint_v26.fooocus.patchを置きます
https://github.com/Acly/comfyui-inpaint-nodes?tab=readme-ov-file#inpaint-models-lama-matInpaint Models (LaMA, MAT)
Model downloadをクリックしてLaMaとMATをダウンロード、上と同じinpaintフォルダに置きます
https://gyazo.com/3a6fdbbab073d6f9a50bfebee76963f6
inpainting_fooocus.json
🟨下処理として、LaMaを使ってオブジェクト除去
なくても良いのですが、境目が目立ってしまうためあった方が良いです
🟦fooocus inpaint専用のINPAINT_VAEEncodeInpaintConditioningノードが追加されています
中身としてはInpaintModelConditioningノードとVAEEncodeForInpaintノードが合体したものです
いつか解説するかもしれない
https://openart.ai/workflows/nomadoor/unsampler-concept-sliders-mask/HQ39IVs30g0OUobEPxHcUnsampler + Concept Sliders + MASK