TRELLIS.2 メモ

用語

SLat

Structured Latent のこと

たまに Shape Latent だと思ってる人がいるが、違うので注意

TRELLIS の一番の特徴、専用のVAEを用いて3D表現を対象にエンコード/デコードできる

パイプラインの変化

TRELLIS のパイプライン

https://microsoft.github.io/TRELLIS/assets/pipeline.png

TRELLIS.2

https://microsoft.github.io/TRELLIS.2/assets/method/overview.jpg

TRELLIS のパイプラインではSLatから直接3Dアセットにデコードしていたが、TRELLIS2ではO-Voxelと呼ばれる新たな中間表現を提案

O-Voxel をエンコード/デコードする Sparse Compression VAE を使用して SLat と行き来できる

OVoxelは形状と外観情報を同時に符号化できる、Sparse Voxel 表現