NeRF
#Technique
NeRF: Neural Radiance Fields; Representing Scenes as Neural Radiance Fields for View Synthesis
arxiv
github repo
概要
https://github.com/bmild/nerf/raw/master/imgs/pipeline.jpg
あるポイントの空間位置$ (x,y,z) とカメラの方向 $ (\theta,\phi)を入力、その位置におけるボリュームの放射輝度と密度 $ (RGB\sigma)を出力としたFully-connected network
(事前にカメラの位置が推定された)画像から、各ピクセルにおいてレイを飛ばし、出力されたボリュームをレンダリングし、各輝度値とピクセルとを比較・ロスを計算し学習させる
画像からカメラの位置推定を行うのは、colmapを用いて特徴点抽出・推定を行っているらしい
関連手法
Scene Representation Network
Neural Volumes
instant-ngp
Local Light Field Fusion
Mip-NeRF
RawNeRF
D-NeRF
動的シーンに対応したnerf
MERF
Gaussian Splatting
3D reconstruction - paperswithcode
https://paperswithcode.com/method/nerf
関連技術・作品など
LumaAI
2023/10/4からgaussian splattingに対応したようです
飛行機からの撮影
鏡の奥も再構築されている
湖の反射
ダビデ像と入館者たち
静的シーンにしか対応していないので、動き回る入館者がいるあたりがノイズになっている
nerfstudio
ローカルでデータセット作成・学習・レンダリング・カメラアニメ・動画書き出しまで出来るツール
学習に用いる手法も選べるし、学習後にポリゴン出力も可
https://twitter.com/AIatMeta/status/1558162643554209798
https://twitter.com/Enuriru/status/1669678837519511552
丘にいるMV - kabanagu - YouTube
How to clone in the NeRF space !! 【Luma AI】- YouTube
https://www.jawset.com/
AEで使えるNeRF&Gaussian splattingプラグイン