ControlNet 1.1
https://github.com/lllyasviel/ControlNet-v1-1-nightlyControlNet-v1-1-nightly
モデル : https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
lllyasviel
https://gyazo.com/3065b76cda322900ef5814e460af96a0
code:code.*
control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e_sd15_shuffle
control_v11e_sd15_ip2p
control_v11u_sd15_tile
Stable Diffusion 2.1用のControlnetがない。。。
ControlNet 1.0との差分
OpenPose
body
face
hand
full
https://gyazo.com/60e2abed8a77324837d6fa53851e7956https://gyazo.com/96e8eb73a715243e5cd6ba7d7df7ff09
Lineart
Anime Lineart
Shuffle
https://gyazo.com/efc0b5fd1e584dd0f5182aaea00a2660https://gyazo.com/d455061656021904d57b700079679cd7
入力画像をごちゃごちゃにしてから、プロンプトに合うように再構成する
InstructPix2Pix
https://gyazo.com/8800a0abcf5ca90c91e39deda89c9c4dhttps://gyazo.com/7814f7c63f7f07f824cd4513653f2b93
使い方をあまり良く分かってないnomadoor.icon
InstructPix2Pixのデータセットで学習させたControlNet
Inpaint
Tile(未完成)
control_v11u_sd15_tileを使っている人はcontrol_v11f1e_sd15_tileへ更新してください
4k画像を作る手法として画像をタイルに分割させて、それぞれをimg2imgで拡大させるのが主流
名前ついてますか？知りたいです基素.icon
SD upscaleがこの手法ですねnomadoor.icon
が、すべてのタイルに同じプロンプトを使うので、例えば空しか表示されていないタイルにも1girlのようなものが適用されてしまう
ControlNet Tileではそのタイルになにが表示されているかを認識してプロンプトの影響力を調整する
https://gyazo.com/75e948811c915929577705721e4aa748https://gyazo.com/a23e2f3bb5065d89181744e2b4f1031a
code:prompt
1girl with black hair,wearing fur jacket,upper body,Backlight,simple blue eyes,eyelash,looking at viewer,gray eye shadow,textile shading
左 : Ultimate SD upscale 右 : Ultimate SD upscale + ControlNet Tile
通常(左)は分割したタイルごとに1girlやらなんやらを適用しているので心霊写真みたいになってしまう
高解像度化手法なのかー基素.icon
プロンプトを画像内の部分部分で最適に動くように調整して描き込むのが本質で、高解像度化は相性の良い使い方の一つといったほうが正解かもしれないnomadoor.icon
https://gyazo.com/82fda8b2775af39094cb221fd77ed588https://gyazo.com/9da5bbda2f5fb2bc5a019efadfb5f775https://gyazo.com/fb87cf7dcaf5c5e652a27e0661ee063d
ので、Control ModeをMy prompt is more importantにすると、構図を保ったまま違う絵にできたりする
逆を言えば、余計なものも描き込むので実際の写真のアップスケールにはあまり向いていない
cf. https://www.reddit.com/r/StableDiffusion/comments/14dpcmi/turn_your_pet_into_any_animal_with_controlnet/ペットを別の動物に変身させる
前処理の変更
Depth Map
ZoeDepthが追加
MiDaSよりも高性能
Normal Map
Normal Baeに変更
ちょっと触った基素.icon
/motoso/ControlNet v1.1
ComfyUIだとワークフローを一枚で見られるのは便利かもしれないnomadoor.icon
わかりやすいとは言っていない