VACE
video2video/動画編集/reference2video(ControlNet的な)/inpainting-outpaintingを一つのモデルで行う統一フレームワーク それぞれのタスクの組み合わせも自由
https://gyazo.com/2dad0b2e42b0a8a8e789c6699059daac
Video Condition Unit (VCU) 以下をまとめて管理するUI、入力されたものによってその後のタスクを振り分ける
フレーム列：RGB動画フレームまたはリファレンス画像
マスク列：バイナリマスク（“1”: 編集対象, “0”: そのまま保持）
テキスト：プロンプトや編集指示
e.g. reference2video
参照画像をフレーム列の先頭に挿入し、対応するマスクはすべて 0（保持すべきフレーム）に
Concept Decoupling
マスク情報を使って、Reactive Frames(編集すべき)とInactive Frames(保持すべき)の２つの潜在フレームに分割
Context Adapter
制御モジュールの挿入