EchoMimic
https://badtobest.github.io/echomimic.htmlProject
https://github.com/BadToBest/EchoMimicBadToBest/EchoMimic
https://arxiv.org/abs/2407.08136EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable Landmark Conditions
入力音声に合わせたポートレート画像のリップシンク
入力動画(のランドマーク)に合わせた〃のtalking head
目や口だけなど、個別のパーツだけを指定して動かすことも可能
これら二つを組み合わせた動画の生成
e.g. 口だけ入力音声に合わせ、他の部位は入力動画に合わせる
https://scrapbox.io/files/66b6c9f096d832001db6cfe5.mp4
ComfyUI実装
https://github.com/smthemex/ComfyUI_EchoMimicComfyUI_EchoMimic