LivePortrait
https://liveportrait.github.io/Project
https://arxiv.org/abs/2407.03168LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control
https://github.com/KwaiVGI/LivePortraitKwaiVGI/LivePortrait
https://scrapbox.io/files/66b2b07a7b1e5c001ce0d364.mp4
talking head
非拡散ベースのアプローチなのでとても軽い
静止画像だけでなく、動画内の顔に対しても適用できる
Stitching
複数人が写った画像にも対応
Retargeting
目と唇の動きを個別に制御
実写のみならず、イラスト・犬や猫のような動物にも対応
実装
https://github.com/kijai/ComfyUI-LivePortraitKJkijai/ComfyUI-LivePortraitKJ
https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortraitPowerHouseMan/ComfyUI-AdvancedLivePortrait
関連
AniPortrait
EMO