ContrelNetとT2I-Adapterの比較

ControlNetに見えるがwogikaze.icon

T2I-Adapter、ControlNetと似てるけど、ControlNetが「U-Netのfine tuning+独自の追加ネットワークで構成、オリジナルのU-Netのmid+upblockに影響する」に対して「独自の追加ネットワークで構成、オリジナルのU-Netのdown blockに影響する」という違いがあるみたいだ。 Kohya Tech

ControlNetはこれ基素.icon

https://gyazo.com/efea3228e0c1145c888b261f91f6771a

この図だと上の説明が読み取れないな

🙇‍♂️

この違いがあるとどう言う応用が生まれるんだろ基素.icon

Anything-4.0やhttps://civitai.com/ のモデルなど、同じテキストから画像へのカスタムモデルを微調整したものであれば、カスタムモデルでもそのまま使用することが可能です。

ControlNetと違って、モデル毎に新しくモデルを作らなくても良い…？nomadoor.icon

ものすごい勘違いをしている気がする

ControlNetと違って追加のネットワークをステップごとに計算する必要がないので生成が早いよ。

最終成果物もかなり小さい基素.icon

基素.iconcontrolnetとt2i-adapterを比較して

Gemini 1.5 Pro.icon

https://gyazo.com/adf23205e3e4404d1b01bed83e555af3

どちらを選ぶべきか？

より詳細な制御を求める場合や、多様な種類の画像をガイドとして利用したい場合は、ControlNetが適しています。

学習コストを抑えたい場合や、生成速度を重視する場合は、T2I-Adapterが適しています。

T2I-AdapterとControlNetを併用することで、それぞれのメリットを活かした、より柔軟な制御が可能になります。

参考資料

A quick comparison between Controlnets and T2I-Adapter: A much more efficient alternative to ControlNets that don't slow down generation speed. : r/StableDiffusion - Reddit: https://www.reddit.com/r/StableDiffusion/comments/11don30/a_quick_comparison_between_controlnets_and/

T2I-Adapter を使ってみる - ジャコ Lab: https://zako-lab929.hatenablog.com/entry/20240322/1711111463

ControlNet and T2I-Adapter Examples | ComfyUI_examples: https://comfyanonymous.github.io/ComfyUI_examples/controlnet/