Thin-Plate Spline Motion Model for Image Animation

https://gyazo.com/2f329b75b651c8d8c6825ec670218413

Git hub

#CVPR_2022

一枚の画像と動き用の動画から、アニメーション(talking head)を作ることができる

yoyo-nb/thin-plate-spline-motion-model

一番簡単に試せる

「だめだね」に近いものを感じるwogikaze.icon*5

deep faceというのだろうか

deep faceは顔認識っぽい？nomadoor.icon

https://scrapbox.io/files/6368c6775433db001e463dd4.mp4

あの演技力にはまだ及ばないな…nomadoor.icon

nomadoor.icon

Input image

https://gyazo.com/8e6de400ea9bc95a25e689483bd6b238

code:Stable Diffusion

1girl,fine details of girl,cinematic lighting,cinematic scene,Hyper-realistic,4K, Highly Detailed,looking at viewer,black hair,upper body,from front,bangs,wide view

code:negative

nsfw,lowres,bad anatomy,bad hands,text, error,missing fingers,extra digit,fewer digits cropped,worst quality,low quality,normal quality,missing arms,long neck, Abnormal

少し口を開けている(歯が出ている)画像の方が良さそう

Input video

https://scrapbox.io/files/6368173256a59e002322050e.mp4

デフォルトで設定されているサンプル用動画

dataset_name

vox

Output

https://scrapbox.io/files/63681764b74c49001dc09bfb.mp4

ひえぇ…

いよいよ命を作ってる感覚になってきた

ちなみにクオリアさん×ジャッキー・チェンは(dataset_name / taichi)

https://scrapbox.io/files/63681aecc1d3ba001d730726.mp4

ﾋｴｪ...

残念…nishio.icon

アニメ顔は顔と見なされてないのか…

よし！

https://gyazo.com/2ff3692b52342e6d6b3bc4d3e8d9506e

ダメだ！

https://scrapbox.io/files/6368819681755b0020a52e82.mp4

猫耳は顔ではない判定…

顔部分は、まあちゃんと動いてる

アメリカのトークショー的な番組で喋ってる現地のセレブおばさんみたいで可愛くはない…

なんでそう感じたのか考えて、要するに僕の中でこれは「アニメ絵の少女」ではなく「化粧の濃い女性」と認識されてるのだと気づいた

3次元の物体として動かすのと、Live2Dのように2次元のまま動かすことの違いもある気がしますねnomadoor.icon

二次元からヌルっと出てくる感じが面白いnomadoor.icon