🦊フレーム補間
https://github.com/google-research/frame-interpolation/blob/main/moment.gif?raw=true
フレーム補完 (VFI)は動画の滑らかさを増すために、フレームとフレームの間に新しいフレームを作り出す技術です 昔のカクカクした動画を滑らかにしたり、スローモーションにしてfpsが下がった動画を滑らかにするために使われています ね
技術によっては上のgifのように二枚与えただけで、動画のように見せかけることもできます
🦊fpsを上げる
🪢カスタムノード
https://gyazo.com/af7273352979b5286d8f85a9b6915ab6
🟩VFIでノード検索するといろんな種類のVFIが使えますが、 どれがいいかは動画の種類にもよるため使ってみるしかないです
multiplier
fpsを何倍にするかを決めます
2なら、30fpsの動画を60fpsにします
当たり前ですが、動画を保存するとき、フレームレートは元の動画のfps × multiplier にしないと同じ動画時間にならないので注意
🦞二枚を繋ぐ
一番上の少年の動画のように二枚の画像を繋いでみるのもやってみましょう
https://gyazo.com/824a7f939b5113c9607f77ed9182810b
🟨画像をバッチ化してVFIに送ります。もちろん二枚以上でも可
🤔動画生成AIと併用するときの注意点?
何fpsの動画が生成されているの?
Stable Video DiffusionやAnimateDiff等は24や32フレームの動画が作れると謳っています
24フレーム生成できたとして、8fpsの動画を生成しているなら3秒の動画になりますが、24fpsの動画を作っているなら1秒にしかなりません
VFIはフレームを増やすことができるので24フレームを48にも72フレームにもできますが、24fpsで生成された動画を48フレームにして24fpsで書き出したら、0.5倍速の動画ができるだけです
アニメは難しい
最近はヌルヌルのアニメも多いですが、アニメはあえ3コマ(8fps)にすることでスピードやキレを表現しています
また、中割りも特徴があり、VFIは2つのフレームの時間軸としてちょうど真ん中にくる絵を生成しますが、アニメの中割りは均等に配置せず緩急を持たせています
これ以上は余談すぎるので控えますが、リアルな動画のフレームを増やすVFIとアニメはまだ相性が悪く思います