HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
https://www.youtube.com/watch?v=qzgdE_ghkaI
発表聞いて気になっていたので、調べる良い機会
未踏JrのYoutube企画で、これを7分くらいに纏めたい これを選んだ理由
空間の次元と、それ以外の次元を一緒に扱うの、次元に着目して一般化感(?) トポロジーっぽいの面白そう（よく分かっていないけど） 色々面白そうだけどよく分かっていないので、分かりたい
紙やpdfではできないことをやっている感じがあってよい 以下は論文読んだまとめ
abstract
dynamic scenes（物動いたり）でNeRFやるためのextension的workが色々ある
この問題を、NeRFを高次元に引き上げる事で解決した
次元高めちゃえばトポロジーが異なってたやつも
それをhyper-spaceと呼ぶ
目指す事（evaluationするtask）
1. 見た目いい感じで、二つのシーン間をinterpolateする
2. novel-view synthesis（元々のデータになかった視点の画像を生成）を、fixed-momentで行う
要はt軸の位置変えても、x/y/z/視点の位置を変えても、元々存在しなかった画像を生成(interpolate)できるようにしたいって事だな
そんでもって、この人たちが前やってたNerfiesよりもerror rate少なくいい感じにできるよ、と Intro
現実のものの変化、topological change多いよと
ものが割れたりとか
表情の変化（口の開け閉めとか）もよく考えればtopological changeある
これはcontinuousな変化ではない（トポロジーが変化するdiscontinuousなタイミングがあるので）
なので既存のシーン間interpoalteするアルゴリズムで扱うのが難しかったと
このpaperは、ざっくり言えばNeRF x レベルセット法
classicalなのは次元一つしか増やさないけど、HyperNeRFは何次元でもいけるよと
ambient dimensionを増やすっていってる
Hyperdimentional NeRFでHyperNeRF
正則化の代わりにoptimization strategy、らしい よくわからん
人の手が少ないって事なのかな..?
Related Works
Non-rigid reconstruction
ただのレンズ一つの時の既存手法も指摘してるけど、その仕組みを理解してないので問題点も理解できないblu3mo.icon
これと同じ話っぽい
とりあえず飛ばすか、そのうち理解できたら嬉しい
Nerfiesにあったトポロジー変化時の問題を解決したのがHyperNeRF Nerual Rendering
~2019、imageからimageを生成するニューラルネットワークを訓練する研究がいろいろ
ただ、いろいろな視点の画像生成したときに整合性取れない問題が
その後、NeRFみたいなニューラルネット自体でシーンを表現する物が出てきたと
これならgeometricな整合性を保てる
NeRFの問題として、物動いてると困る
そりゃそう
その解決策として、二つのアプローチがある
deformation-based
continuousなdeformation fieldで動いている物を表現?
Radiance Fieldと同じように、Deformation Fieldも近似する
NeRDFだな(?)
これにはtopological changeやtransient effects(火など)を表現できない弱点がある
modulation-based
latent（潜在）code
あまり仕組みは理解できず
topological changeなどもカバーできる
HyperNeRFは、二つの両方を融合したようなアプローチ
deformation fieldでシーンの変化をモデル化する
-.icon
以下はサイト読んだまとめ
Motivation
これは、変化する何か（ex: 二次元図形）を、一次元高い物（ex: 三次元立体）のsliceととらえるみたいな?
https://hypernerf.github.io/static/figures/level_set/interpolate2.mp4
Architecture
https://hypernerf.github.io/static/figures/architecture.svg