🦊UNO/USO/UMO

🏠 | 🦊雑に学ぶComfyUI

👈 | 🦊FLUX, 🦊OmniGen2

👉 |

UXOファミリー (UNO/USO/UMO)

ByteDanceが公開している、Subject-Driven Image Generationに特化したモデル達です

🦊Flux (🦊OmniGen2)のアダプタとして学習されています

複数の参照画像が使えたり、スタイル転送が出来たりと、それぞれ少しずつ個性があります

https://github.com/bytedance/UNOUNO

複数の参照画像を元に画像を生成できるようにします

ComfyUIの公式実装はなし

https://github.com/bytedance/USOUSO

Subject転送とStyle転送を一つのモデルで対応します

どちらかの機能だけ使うことも、同時に使うことも出来ます

https://docs.comfy.org/tutorials/flux/flux-1-usoComfyUI公式workflow

モデル

https://huggingface.co/Comfy-Org/USO_1.0_Repackaged/blob/main/split_files/loras/uso-flux1-dit-lora-v1.safetensorsuso-flux1-dit-lora-v1.safetensors

https://huggingface.co/Comfy-Org/USO_1.0_Repackaged/blob/main/split_files/model_patches/uso-flux1-projector-v1.safetensorsuso-flux1-projector-v1.safetensors

code:models

📂ComfyUI/

└── 📂models/

├── 📂loras/

│ └── uso-flux1-dit-lora-v1.safetensors

└── 📂model_patches/

└── uso-flux1-projector-v1.safetensors

https://gyazo.com/de23fc28ff4a8e19ed2af779c3ff442d

USO_suject_style.json

🟨Style転送部

🟩Subject転送部

例に漏れずvaeでsubject転送するので、参照画像の構図・ポーズをかなり強く受け継いでしまう

参照画像を1Mピクセルまで大きくすると、参照オブジェクトが小さくなって生成される

それ故USOの開発チームは参照画像の長辺を512pxにリサイズすることを推奨している(このWorkflowでは0.5Mピクセルにリサイズしているが、要調整)

それぞれをバイパスすれば単体機能として使えます

https://github.com/bytedance/UMOUMO

UNOで複数の人物を参照した場合、それぞれの特徴が混ざってしまうことがありました

UNO/OmniGen2に対してUMOを適用することでこれを改善し、IDが混ざりにくくします

https://github.com/bytedance/UMO/tree/main/comfyuiBytedance公式workflow

モデル

https://huggingface.co/bytedance-research/UMO/blob/main/UMO_OmniGen2.safetensorsUMO_OmniGen2.safetensors

https://huggingface.co/bytedance-research/UMO/blob/main/UMO_UNO.safetensorsUMO_UNO.safetensors

code:models

📂ComfyUI/

└── 📂models/

└─ 📂loras/

├── UMO_OmniGen2.safetensors

└── UMO_UNO.safetensors

UNO (Flux.1)

https://gyazo.com/ff7c071afa4db80683fd9d93f9389f22

UMO_UNO.json

二個以上の参照画像は効いてる感じがしないnomadoor.icon

OmniGen2

https://gyazo.com/bced73195885c42dd420ae6fe282e08b

UMO_OmniGen2_multi.json