ComfyUI-WanAnimatePreprocess
https://github.com/kijai/ComfyUI-WanAnimatePreprocesskijai/ComfyUI-WanAnimatePreprocess
Wan-Animateのための下処理を実装するComfyUIカスタムノード
cf. https://github.com/Wan-Video/Wan2.2/tree/a64d5b25af052a24e8e1bc23aa7af3ee130b1d84/wan/modules/animate/preprocessWan2.2/wan/modules/animate/preprocess/
顔検出 / ポーズ推定 / retarget
モデルのダウンロード
https://huggingface.co/Kijai/vitpose_comfy/blob/main/onnx/vitpose_h_wholebody_data.binvitpose_h_wholebody_data.bin
https://huggingface.co/Kijai/vitpose_comfy/blob/main/onnx/vitpose_h_wholebody_model.onnxvitpose_h_wholebody_model.onnx
https://huggingface.co/Wan-AI/Wan2.2-Animate-14B/blob/main/process_checkpoint/det/yolov10m.onnxyolov10m.onnx
code:models
📂ComfyUI/
└── 📂models/
└── 📂detection/
├── vitpose_h_wholebody_data.bin
├── vitpose_h_wholebody_model.onnx
└── yolov10m.onnx
ViTPose/YOLOによるポーズ推定と顔検出
https://gyazo.com/c248265049af192966e3d612409298e4
Pose and Face Detection.json
retarget (Animationモード用)
ポーズを抽出する動画と、動かす静止画にいる人物は、画面における座標も骨格も違うことがほとんど
動画から抽出した棒人間を、動かす画像の人物に合うように位置や骨格を調整する
https://gyazo.com/a27e3543e0c28013f24b65af22d66b38
Pose and Face Detection_retarget.json
retarget_imageに動かす画像を入力
https://gyazo.com/d0c353a9faf069298306ecaca16a4ef1https://gyazo.com/a3a4b7b934ec591193f32a35b8529e99
↓retarget
https://gyazo.com/5e57be1267787ebfb58e75cf13ba17e4https://gyazo.com/b321d6eb354a82c75c1acaaf4b3a7647https://gyazo.com/48df495c6892a2d8eceb411c36171841
w/ SAM 2.1 (Replacementモード用)
取得した人間の座標をSAM 2に入力することで、マスクを生成します
🪢カスタムノード
https://github.com/kijai/ComfyUI-segment-anything-2ComfyUI-segment-anything-2
https://gyazo.com/2ffe1e9e5f44f2c64608c490840bfa4c
Pose and Face Detection_SAM.json
🟪key_frame_body_pointsやbboxesをSam2Segmentationノードに入力