T2I-Adapter

https://github.com/TencentARC/T2I-Adapterhttps://arxiv.org/abs/2302.08453https://huggingface.co/spaces/Adapter/T2I-Adapterhttps://huggingface.co/TencentARC/T2I-Adapter

T2I-Adapter の公式実装: Text-to-Image 拡散モデルのより制御可能な能力を掘り起こす学習アダプター。

https://github.com/Mikubill/sd-webui-controlnetStable Diffusion web UIの拡張機能

Currently support both sketch Adapter and image Adapter. Note that the impl is experimental, result may differ from original repo. See Adapter Examples for reference.

Anacondaと格闘しているうちに拡張機能がでてしまった…早すぎぃ！nomadoor.icon

ContrelNetとT2I-Adapterの比較

機能

スケッチで制御 Sketch Adapter

ポーズで制御 MMPose

https://gyazo.com/746e916e6aeb0d5721111909481e41ac

Inpaintingと組み合わせられる

https://gyazo.com/09b8086f1d7b6835c1592558f174ac96

Sketch Adapterを使うと、異なる概念の組み合わせが成功しやすくなる

https://gyazo.com/55b8469807c0fccaceb73b6f82eb897d

車と羽の組み合わせはノーマルだと別々に生成されてしまうが、Sketch Adapterを使うと、しっかり融合している

逐次編集

https://gyazo.com/0542b293ded1cfc56469479576ba3896

ベースになる画像を傷つけずSketchガイドを使って画像を追加生成できる？

SegmentationとSketchガイドを組み合わせる

https://gyazo.com/92fc2fd7dcccc7804d212f9f64dfa242

https://twitter.com/mutaguchi/status/1626458046166888454T2I-Adapterは、ControlNetと違って、segmentationとposeを組み合わせるとかがもう出来てる…

T2I-Adapter for SDXL

サンプルにAnything V4.0で草

https://twitter.com/_akhaliq/status/1626403701500923904

CoAdapter

text2image

画像のコントロール