HyperNeRF解説原稿

対象

調べ始める前の僕くらいがちょうど良い?

構成

最初にでも見せて、これがどういう仕組みなのか、みたいな話をしていく

要素を段々と分解していく

Scrapbox上でもそうやって調べてまとめているので、それをそのまま発表に落とし込めば良さそう

HyperNeRF

SIGGRAPH Asiaの09 neural rendering

technical papersのいろいろな分野の発表を聞いて、一番この研究に興味をそそられたのでより深く読み込みました

この分野について前提知識をあまり持たない状態で調べたので、そういった視点から基礎知識を持たない人にも伝わる様説明を試みます

HyperNeRFを説明する前に、HyperじゃないNeRF、単にNeRFと呼ばれている技術について説明します。

どんなことができるかというと、

https://www.youtube.com/watch?time_continue=92&v=JuH79E8rdKc&feature=emb_logo

NeRF以前の考え方だと、

画像を出力するニューラルネット

しかし、これで今のNeRFみたいなことをすると問題があって、一貫性のある画像が生まれません

物体を上から見た時と左から見た時の画像を生成すると、それぞれはもっともらしい見た目をしているけど、それらに整合性がありませんでした。

NeRFはその課題を、そもそも解く問題を変えることで解決しています

空間上のある一点をある角度から観た時に、その点がどんな色と透明度を持っているか

例えば、お茶のペットボトルのある一点を真横から見た時にどんな色と透明度かと問われて、茶色で半透明だと答えられるニューラルネットワークを訓練しようとしている

キャップのところであれば、緑色で完全に不透明

空中の何も無い所の座標の場合は、無色かつ透明

つまり、特定の三次元のシーンを色と密度の集合で表現できるニューラルネットワークを訓練していて、

この色と密度の集合をRadiance Fieldと呼びます

Neural Radiance Field -> NeRF

これを元にどうする?

動画見せる

計算しやすい様に離散化するとこういう関数で表現できて、これが微分可能なので

https://gyazo.com/8be4cd63472cd4dc8e432f0d940afbb5

非連続変化にがて

これを解決するのがHyperNeRF

「レベルセット法」を取り入れる

https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4

動画動かしながら非連続的変化が連続的になってることを説明

評価

定量的評価には、この三つの評価基準を使用したそうです

まとめると、

こういう研究自体はこれが最初ではありませんが、この動画にあるように口が空いたり閉じたりするような形状変化があっても問題なくレンダリング出来ている、という点

さらに、形状変化時にトポロジーの変化があっても問題なくレンダリング出来ているという点がこの研究のすごい点です。

感想

聞かれるかもしれんし考えとく

HyperNeRFの感想

ちゃんと人に説明できるレベルまで読み込むと、

それぞれのトピックに系譜みたいなものがあるな〜、とHyperNeRFの背景を辿る事で感じられた

あと、2020年にNeRF、そこからHyperNeRF含む派生研究が既にたくさん発表されている　

速え〜

SIGGRAPHの感想

分野の全体像みたいなのが見れた気がする