CoDeF
https://qiuyu96.github.io/CoDeF/
https://github.com/qiuyu96/CoDeFqiuyu96/CoDeF
https://arxiv.org/abs/2308.07926CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
コンテンツ変形フィールド(CoDeF)は、映像全体の静的コンテンツを集約する正準コンテンツフィールドと、正準画像(すなわち正準コンテンツフィールドからレンダリングされる)から時間軸に沿った各フレームへの変形を記録する時間変形フィールドから構成される。ターゲット映像が与えられた場合、この2つのフィールドを共同で最適化し、慎重に調整されたレンダリングパイプラインを通して再構成する。この最適化プロセスには、正準コンテンツフィールドが映像からセマンティクス(オブジェクトの形状など)を継承するように、いくつかの正則化を導入する。
https://qiuyu96.github.io/CoDeF/static/video_demos_compressed/1920x540/lemon_earth.mp4
Video Translation
https://gyazo.com/cd070fa142b37712c2086f7408b0ebfa
動画を2D content canonical fieldと3D temporal deformation fieldに分解して処理する