FLOAT
https://gyazo.com/323c7e3abae014d8804488ccaf97c378
https://deepbrainai-research.github.io/float/
Proect
https://github.com/deepbrainai-research/float
deepbrainai-research/float
https://arxiv.org/abs/2412.01064
FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait
フローマッチング生成モデルに基づく音声駆動型トーキングポートレート動画生成手法
FLOAT は音声駆動型の
感情ラベル
でトレーニングされているため、推論フェーズ中に話すポートレートの感情を再調整できます。
Audio-Driven Video Generation
/
リップシンク
実装
https://github.com/yuvraj108c/ComfyUI-FLOAT
yuvraj108c/
ComfyUI-FLOAT
ライセンス
code :
CC BY-NC-ND 4.0
ckpt :
CC BY-NC-ND 4.0