OmniMotion
https://www.youtube.com/watch?v=KHoAG3gA024
https://omnimotion.github.ioProject
https://arxiv.org/abs/2306.05422Tracking Everything Everywhere All at Once
https://github.com/qianqianwang68/omnimotion
動画内のすべてのピクセルを長時間に渡って追跡する
従来の手法と欠点
Optical Flow
隣り合った2つのフレーム間のすべてのピクセルの動きを計算する
長い時間追えない
Sparse Feature Tracking
少数の特徴点を選んでその動きを追う
全体の動きを追えない
また、どちらもカメラが動くと際に生じる遠近感やオクルージョンに弱い
関連
RAFT
PIPs
TAP-Net
参考
A Research Team from Google, Cornell, and UC Berkeley Presented OmniMotion: A Game-Changing AI Method for Dense and Long-Range Motion Estimation in Videos
tracking
トラッキング
Tracking Any Point