ControlNet試す

いくつか方法があるみたい

使えないという話もあり後述のMikubill/sd-webui-controlnetがスレッドでおすすめされていた

This extension is for AUTOMATIC1111's Stable Diffusion web UI, allows the Web UI to add ControlNet to the original Stable Diffusion model to generate images. The addition is on-the-fly, the merging is not required.

ControlNetを使う

ControlNetを使うためにはモデルが必要

モデルはHugging Faceにアップロードされている

All models and detectors can be downloaded from our Hugging Face page. Make sure that SD models are put in "ControlNet/models" and detectors are put in "ControlNet/annotator/ckpts". Make sure that you download all necessary pretrained weights and detector models from that Hugging Face page, including HED edge detection model, Midas depth estimation model, Openpose, and so on.

タスクごとにモデルが別れているので必要なものだけダウンロードする

そして、ControlNet models (.pt, .pth, .ckpt or .safetensors) をsd-webui-controlnet/modelsに配置する

今回は手描きをイラストにしたいのでscribblesをダウンロードして配置する

ControlNet/models/control_sd15_scribble.pth

The ControlNet+SD1.5 model to control SD using human scribbles. The model is trained with boundary edges with very strong data augmentation to simulate boundary lines similar to that drawn by human.

Currently it supports both full models and trimmed models. Use extract_controlnet.py to extract controlnet from original .pth file.

この一文はよくわからなかった。pthしかないのでそれをそのまま置いたら普通に動いた

モデルを配置するパスはここ

\stable-diffusion-webui-docker\data\config\auto\extensions\sd-webui-controlnet\models

$ \stable-diffusion-webui-docker\data\config\auto\extensions\sd-webui-controlnet\models

ここまででUIは立ち上がった。しかし画像が出ない。

まだエラーが出た

code:zsh

# wd1-4_anime_e1.ckpt

webui-docker-auto-1 | RuntimeError: mat1 and mat2 shapes cannot be multiplied (77x1024 and 768x320)

# sd v1-5-inpainting.ckpt

# sd v1-5-pruned-emaonly.ckpt

// no error

入力欄が複数あって紛らわしい

Good setup

https://gyazo.com/6fcbbe67e23882b59c884ea85c50dbcc

NG setup

https://gyazo.com/89e381585eb65103b77e81771b32a1d2

relusts error

https://gyazo.com/818536031ec596dd60329eabb561605e

results monotone illusts(not color)

code:zsh

# Set the URL of the model

# Set the name of the file to save the downloaded model

MODEL_FILE="pastelmix-better-vae-fp32.ckpt"

# Set the bearer token for authentication

BEARER_TOKEN=

# Download the model using curl with the bearer token in the request header

curl -H "Authorization: Bearer $BEARER_TOKEN" -L $MODEL_URL -o $MODEL_FILE

download speed is too slow in WSL2(why?)

code:zsh

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 1159 100 1159 0 0 1489 0 --:--:-- --:--:-- --:--:-- 1489

0 4067M 0 22.8M 0 0 889k 0 1:18:00 0:00:26 1:17:34 981k

in windows11, download may end in a few minutes.

試した

scribble

写真や画像から姿勢を同じにする

openpose

落書きを完成させる

canny

細部の線画まで同じにする

user review

Colab

以下のコードをwebuiダウンロード後（git cloneした後）辺りに入れておけばOKです。

%cd /content/stable-diffusion-webui/extensions