Stable Diffusion系モデルのVAEを設定する
概要
VAEはピクセル空間(画像の全ての情報)を潜在空間に圧縮する Stable Diffusionではピクセル画像を潜在的な画像埋め込み表現に変換するために使われています。512×512サイズのピクセル画像から、8×8サイズの潜在表現に変換されるため、処理の負担が 64分の1 に大幅に軽減されます。
https://gyazo.com/237e9f824c4f23526ae40dc6777941f8
適切にVAEを設定していないとぼやけた感じの映えないイラストになる
VAEを設定すると
鮮やか、くっきり
2023/2/13時点ではとりあえずkl-f8-anime2かvae-ft-mse-840000-ema-prunedを使っておけばいい
イラスト、アニメ調→kl
実写、その他→mse
SD系VAE
automatic
あえて色をくすませるというのもありかも。まぁ発色は凄い悪い
andite/anything-v4.0
kl-f8-anime2
2次元系絵のモデル、アニメ塗りなどに良いといわれているVAE
vae-ft-mse-840000-ema-pruned
実写系、写真などのモデルに良いとされているがすべてをこれで済ます人も多い印象、でもアニメ画の場合キャラの瞳などの細部が悪いと思う
autoencoder_fix_kl-f8-trinart_characters
TrinArt系のアニメ塗り系VAEだが、特に赤色の彩度が上がりシャープになりすぎるので、使いどころと絵柄を選ぶ
/models/VAEの中にVAEファイルを入れる
モデルをckptからvae.ptにリネームする
これをやらなくても動きはする
config.jsonに設定
"sd_vae": "kl-f8-anime2.ckpt",を付け加えて完了
直接編集したくない場合はuiのStable Diffusion設定から設定を適用するとconfig.jsonも書き変わる
参照