SparseCtrl
https://guoyww.github.io/projects/SparseCtrl/assets/video/overview-30.mp4
https://guoyww.github.io/projects/SparseCtrl/Project
https://github.com/guoyww/AnimateDiff#202312-animatediff-v3-and-sparsectrl[2023.12] AnimateDiff v3 and SparseCtrl
https://arxiv.org/abs/2311.16933SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
毎フレームではなく、1もしくは少しのフレームに対して条件を与えるのみで動画生成を制御する(temporally sparse signals)
https://gyazo.com/e53a765439c20af37e7cf703241b8f78
ControlNetとの比較
vanilla ControlNetは、ノイズの入ったサンプルと条件を加算して、UNet Encoderに入力します。
sparse condition encoderは、ノイズの入ったサンプルを除去し、条件とマスクを結合して入力します。
AnimateDiff