MotionCtrl
https://i.gyazo.com/87e4eb92ed99b230c1ed93ada7e757e1.gif
https://wzhouxiff.github.io/projects/MotionCtrl/Project
https://github.com/TencentARC/MotionCtrlTencentARC/MotionCtrl
https://arxiv.org/abs/2312.03641MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
カメラのモーションとオブジェクトモーションを分離して別々に制御する
Camera Motion Control Module(CMCM)
Object Motion Control Module(OMCM)
現状LVDM/VideoCrafterと組み合わせて使う
AnimateDiff/Stable Video Diffusion用も予定されている