3D Gaussian Splatting for Real-Time Radiance Field Rendering
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Twitter
https://x.com/kentbye/status/1703518353728704980
https://scrapbox.io/files/685565bfe611b99d57977dba.png
やるタスク
given シーンを撮った写真
want 別の視点から撮った写真を復元する
where リアルタイムレンダリング
課題
ある手法はすごく時間がかかる（max 48時間）
別の手法はノイズやアーティファクトの発生
さらに別の手法はMulti-View Stereo（MVS）を必要とする。
これら三つを解決できないか？
---> SfM点群のみで高品質な結果を得られるようにしたい
Structure from Motion ---> 複数枚の写真から構造を復元する
どの空間位置にどの画素が対応づくかを計算する
===> SfM点群 (一点が一つの画素に対応)
手法
SfM点群をガウス混合モデル(平均位置, 共分散行列, 透過度)にフィッティング
色については球面調和関数で表現
球面調和展開によって低次元の係数ベクトルで表現する
二次元平面に投影する
タイルベースのラスタライザ
検証手法
既存のデータセットを用いて検証する
評価指標？
検証結果
最速手法と同等の学習速度・品質 + リアルタイムレンダリング
議論
メモ
Splatting = 1ピクセルより大きな範囲を持つ点プリミティブを用いる手法
わからないところ
allows 𝛼-blending of anisotropic splatsとは？
球面調和展開？
評価指標：「品質」はどうやって定義される？