StableVITON
https://gyazo.com/4176a4ed2748eb783e6ac7b396ab9eed
https://github.com/rlawjdghek/StableVITONrlawjdghek/StableVITON
https://arxiv.org/abs/2312.01725StableVITON: Learning Semantic Correspondence with Latent Diffusion Model for Virtual Try-On
ComfyUI実装
https://github.com/StartHua/ComfyUI_Seg_VITONStartHua/ComfyUI_Seg_VITON
weightは公式repoから申請する必要がある
なぜかcheckpointを借りられたのでComfyUIで試すnomadoor.icon
$ path\to\ComfyUI\custom_nodes\ComfyUI_Seg_VITON\checkpoints
VITONHD.ckptとsegformer_b2_clothesを置く
segformerはhttps://huggingface.co/mattmdjaga/segformer_b2_clothes/tree/mainからgit lfs
トップスやキャップ等、服の部位ごとにセグメンテーションができる
$ git lfs install
$ git clone https://huggingface.co/mattmdjaga/segformer_b2_clothes
pipインストール
$ cd path\to\ComfyUI\custom_nodes\ComfyUI_Seg_VITON
$ ../../../python_embeded/python.exe -s -m pip install -r requirements.txt
実行するとエラーが出る
$ ModuleNotFoundError: No module named 'pytorch_lightning.utilities.distributed'
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/11458を参考にpath\to\ComfyUI\custom_nodes\ComfyUI_Seg_VITON\ldm\models\diffusion\ddpm.pyの以下の部分を書き換える
code:ddpm.py
20 - from pytorch_lightning.utilities.distributed import rank_zero_only
20 + from pytorch_lightning.utilities.rank_zero import rank_zero_only
https://gyazo.com/7afcceff36c1cffc67ab2dba7b98e96b
StableVITON.json
Batch Sizeが最低16なせいかありえないくらい重い
https://openart.ai/workflows/opossum_yummy_44/model-dress-up/EbMe4XnY7btTUGY6tJXgSegformerを使った自動マスク
関連
Outfit Anyone
着せ替え/バーチャル試着
#KAIST