Ovi
https://aaxwaz.github.io/Ovi/Project
https://github.com/character-ai/Ovicharacter-ai/Ovi
twin-DiTモジュールのブロック単位クロスモーダル融合を用いることで、Oviは自然な同期を実現し、別々のパイプラインや事後処理によるアライメントの必要性を除去します。
Wan2.2型のVideo DiTとMMAudio型のAudio DiTをtwin構成にして、T5条件とCross-Attentionで融合し、Flow Matchingで同時生成するモデル