AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars
概要
テキストを用いてzero-shotでアバターとモーションを生成する.
処理の流れ
1. CLIPx微分可能レンダラを用いて大雑把な形状を生成
2. VolumeRenderingを使って詳細な形状、テクスチャを生成
3. MarchingCunesを使ってメッシュを切り出し
4. 学習済みMotionVAEのコードブックから検索+MotionVAEを最適化し、Motionデータの作成
Preliminaries
SMPL
https://www.youtube.com/watch?v=m8i00zG6mZI
reference