Animate-X
https://gyazo.com/4e233f862a909532373c93e118409f19
https://lucaria-academy.github.io/Animate-X/Project
https://arxiv.org/abs/2410.10306Animate-X: Universal Character Image Animation with Enhanced Motion Representation
人間だけでなく、Xキャラクター(動物や擬人化キャラクター)にもうまく適用できるようにしたHuman Motion Transfer
類似技術ではポーズのキーポイントを使っているが、ポーズによってポイントが重なっているような時や、参照画像とキーポイントの体格が違いすぎる場合うまくアニメーションさせられない
Animate-Xでは代わりにPose Indicatorを使う
Implicit Pose Indicator (IPI)
CLIPの画像特徴を取り出して、それにキーポイントを加えることで、動きの特徴をより詳しく表現できるようにする
Explicit Pose Indicator (EPI)
訓練中にわざとずれたポーズを使って、モデルがうまく対応できるようにする