🦊SparseCtrl
次/
AnimateDiffをControlNetと組み合わせる場合、ContolNetに入力する画像を作りたいフレーム数だけ作らないといけません
当然といえば当然ですが大変です
そこに数枚のみの画像入力で、その間のフレームをうまくつなげてくれる技術が登場しました
現状SparseCtrlはscribbleとrgbの二種類があります
🦊ComfyUIでやってみる
カスタムノード
モデルのダウンロード(直リンク)
$ ComfyUI\models\controlnet
Motion Moduleのダウンロード
$ ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models
Domain Adapterのダウンロード
$ ComfyUI\models\loras
📚まずはrgbから
https://gyazo.com/d8c37a49a4e8267eb67f8363bc7be39b
基本的なtext2videoの形をベースとして__
画像を読み込みリサイズ
画像のサイズを取得してEmptyLatentImageにつなぐ
🟦ControlNet Advanced
🖼️二枚以上かつScribbleで
https://gyazo.com/e5cd3fc66baf2dd0197a926a4e5ad462
🟥複数枚を同時に(バッチとして)読み込む必要があります
プロンプトの効きが異常に悪いのでなにか間違えているかもしれないnomadoor.icon
チェックポイントによって全くうまくいかない(特にアニメ系)
SparseCtrlではなくmotion moduleのv3がアニメ系モデルと相性が悪いのかもしれない