リップシンク - lecture-nakayasu

リップシンク

#generative_ai

hr.icon

リップシンクはまだ調査と検証中。

どのワークフローがベストな方法か確認中。

Flowがベストかも

https://www.youtube.com/watch?v=5Z27qKER9eU

https://www.youtube.com/watch?v=2dwZ2SFP5QE

hr.icon

1. InfiniteTalk

https://www.youtube.com/watch?v=6MS-KAnvTBg

InfiniteTalkはオープンソースのモデルなので、自力インストールできれば無料で使える。

1.1 Waveseed.ai（有料）

https://wavespeed.ai/models/wavespeed-ai/infinitetalk

1.2 ComfyUI（無料・ローカルインストール）での利用

ComfyCloudでは使えない。ローカルインストールのみ。

https://github.com/bluespork/InfiniteTalk-ComfyUI-workflows

ComfyUIに外部workflowのjsonを読み込ませるには、空のworkflowにjsonソースをコピペする。

カスタムノードはComfyUI ManagerからInstall Missing Custom Nodesからインストール可能。

Macでは非対応（fp8やbp8を使うため）

https://www.reddit.com/r/StableDiffusion/comments/1n0aiqa/infinite_talk_lipsynci2v_comfyui_workflow/?tl=ja

ComfyUIで唇の動きをリアルに再現！「Infinite Talk」で画像からリップシンク動画を生成しよう｜AICU

https://www.youtube.com/watch?v=9QQUCi7Wn5Q

hr.icon

2. ComfyUI - humo 17Bモデル

InfiniteTalkでなくても、humo 17Bでも十分使えそう。

参考）

HUMO AI: Video Generation by Bytedance

HuMo のリップシンクは結局どうなのか｜異世界♪吟遊詩人ギルド

https://www.youtube.com/watch?v=q77m0jr5gHk

hr.icon

3. Hailuo.ai

Proで開発版のLip Syncが使える。現在は使えないらしい

2025年末頃に正式実装される予定？

https://www.youtube.com/watch?v=fvfM1myv7yc

hr.icon

4. Kling

https://www.youtube.com/watch?v=RaJ0cywS7Hw

https://www.youtube.com/watch?v=IS43C4zQ4qY

https://www.reddit.com/r/aivideo/comments/1ft4hul/a_new_ai_lipsyncer_arrived_from_kling/?utm_source=chatgpt.com

hr.icon

5. Pollo.ai

How to Use Kling AI Lip Sync: Step-by-Step Guide | Pollo AI

hr.icon

6. Flow

Flow TV

hr.icon

7. Domo AI

https://www.domoai.app/ja

https://www.youtube.com/watch?v=5A4DTFIphUg

hr.icon

https://www.youtube.com/watch?v=cGqLUjeSCpY

hr.icon

ElevenLabs

ElevenLabs - YouTube

https://www.youtube.com/watch?v=BmMxkpm12vc

ワークフローの一例

https://gyazo.com/6419da70e2bdf9ed9e3eb30db2b72937