Gaussian Splatting
#Technique
3D Gaussian Splatting for Real-Time Radiance Field Rendering
paper
high-res paper
github repo
概要
https://scrapbox.io/files/65563327a1c524001b5edae1.png
(図を論文より引用)
NeRFと同様に、colmapで事前に画像からカメラ推定と、ポイントクラウドを生成しておく
ポイントからそれぞれ多変量正規分布を作成し、色・透明度・変形(適宜、ポイントを分割・結合)させ、元の画像と比較し学習
NeRFと比較して、細かい部分まで再現できつつ、めっちゃ軽い
他の手法との比較
関連手法
NeRF
4D Gaussian Splatting
動的シーンでも使えるようにした
https://github.com/hustvl/4DGaussians
関連技術・作品など
https://medium.com/axinc/3d-gaussian-splatting-複数視点の画像から3d空間を再現する最新手法-273ce61200a8
LumaAI
2023/10/4からgaussian splattingに対応
2023/10/5以降の#LumaAIの投稿
NeRFにおけるnerfstudioに相当するようなソフトウェアは出てなさそう? SuperSplatなるものがあるみたいです
https://twitter.com/ajayns_/status/1708927355371053134
https://twitter.com/_kzr/status/1722533625571496199
https://twitter.com/splinetool/status/1724483276490912170
https://twitter.com/smallfly/status/1723559380342194373
不可視部分の壊れ方
https://twitter.com/DuckbillStudio/status/1722937274063843534
反射オブジェクトの再構築具合
https://twitter.com/cg_ftLab/status/1723139373812834649
gaussian splatting painter
colmap上で画像それぞれのカメラの位置を設定しておき、それをもとに学習させるもの。
NeRFでも応用できそう。