NeRF
https://gyazo.com/c9ebbced2f778f5cf858e35d7c3d7999
https://gyazo.com/2f1e7511259dce4384e2197584088d33
$ F_\thetaが Radiance Fieldsを表すNeural Network
rayを飛ばして、pixelの色を計算する
RGBAが返されるイメージ
その色が与えられた画像と一致するようにLossの最小化をする
https://www.youtube.com/watch?v=JuH79E8rdKc
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
2020
We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views.
DeepL：入力ビューの疎なセットを用いて、underlyingの連続的なボリュームメトリックシーン関数を最適化することにより、複雑なシーンの新しいビューを合成する手法を提案。SOTA
Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location (x,y,z) and viewing direction (θ,ϕ)) and whose output is the volume density and view-dependent emitted radiance at that spatial location.
本アルゴリズムは、完全結合型（非畳み込み型）deep networkを用いてシーンを表現する
https://gyazo.com/4aac7c2a8e98b3aac16cc1eeec1e343c
入力：単一の連続した5次元座標（空間位置（x，y，z） + 視野方向（θ，φ））
出力：空間位置における
ビュー依存の放射輝度
We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. カメラ光線に沿った5次元座標を問い合わせることでビューを合成し、古典的なボリュームレンダリング技術を使って、出力下色と密度を画像に投影する
Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses.
ボリュームレンダリングは当然微分可能であるため、我々の表現を最適化するために必要な唯一の入力は、既知のカメラポーズを持つ画像セットである。
We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis.
複雑な形状と外観を持つシーンのフォトリアリスティックな新しいビューをレンダリングするために、どのようにニューラル放射場（NeRF）を効果的に最適化すればいいか説明する
ニューラルレンダリングとビュー合成について先行研究を上回る結果を実証する
View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.
ビュー合成の結果は動画で見るのが最適であるため、読者は説得力のある比較のために補足の動画を見ることを強く勧める。
解説
作例
これからはポートレートも3Dで残す時代？
せきぐちあいみさんとその空間をデジタルアーカイブ。
撮影した約30枚の写真からNeRFで生成。
艶や内部拡散反射ある肌も再現出来る分､実在感ある。
動画あり
動画あり