Imagicで遊ぶ

30GB VRAM版 https://github.com/justinpinkney/stable-diffusion/blob/main/notebooks/imagic.ipynb

This implmentation requires a GPU with ~30GB of VRAM, I'd recommend an A100 from Lambda GPU Cloud which will take a little over 5 minutes to process a single image.

11GB VRAMで動く版 https://github.com/ShivamShrirao/diffusers/tree/main/examples/imagic

無料版Colabだと512x512の画像がTesla T4での学習中にout of memoryになった

(GPU 0; 14.76 GiB total capacity; 4.50 GiB already allocated; 26.75 MiB free; 4.53 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Traceback (most recent call last):

Tesla T4, 15109 MiB（total）, 5981 MiB（free）だった

15GBあるけどなんで実行できない？（というか10GBどこにいったの）

Lisa版

11GB VRAMで動く版がベース

作者がキャラクター生成をやっているようなのでそっち向けの機能が期待できる

コメントに作者の知見が書き込まれている

@LisaDQX: 画像加工のAIツール、Imagic Stable Diffusionを使えるGoogleColabノートブック公開しました！同じキャラの差分パターン作成や、一部だけ絵を加筆・修正したりするのに使えるかもです＃StableDiffusionKawaii ＃WaifuDiffusion

https://colab.research.google.com/drive/10HV7FdKm9js9YXuF_XSun_bx59xp6ywj?usp=sharing

https://pbs.twimg.com/media/FfglptzaMAAUWRo.jpghttps://pbs.twimg.com/media/FfglptxaMAA8HVQ.jpghttps://pbs.twimg.com/media/FfglptvagAAlP86.jpg

方針

Colabに課金する

Colabをローカルマシンで走らせる

Colabのコードをローカルマシンでやってみたことがないのでこっちを試してみる

Imagicをローカルマシンで実行する

感想

1キャラの差分をこまかくつくっていくときには便利かも

ただしRTX3090でも512x512の学習に11分かかるので、プロンプトの試行錯誤は素早くはできない

たとえばエロ画像生成などではシチュエーションごとに必要な差分が同じであり、プロンプトが決まってしまえば同じキャラクターに対して手早く差分を作るということができるようになるかもしれない

これはimagicを使わなくても実は工夫でできることもあるのだが...

公開Scrapboxはエロ要素をおけないので解説できない

FANBOXとかでやったら需要あるのかな...？