🦊フレーム補間
🏠 | 🦊雑に学ぶComfyUI
👈 |
👉 |
https://github.com/google-research/frame-interpolation/blob/main/moment.gif?raw=true
フレーム補間 (VFI)は動画の滑らかさを増すために、フレームとフレームの間に新しいフレームを作り出す技術です
昔のカクカクした動画を滑らかにしたり、スローモーションにしてfpsが下がった動画を滑らかにするために使われています　ね
技術によっては上のgifのように二枚与えただけで、動画のように見せかけることもできます
そのためモーフィングのように使えたり使えなかったりします
fpsを上げる
🪢カスタムノード
https://github.com/Fannovel16/ComfyUI-Frame-InterpolationComfyUI-Frame-Interpolation
https://gyazo.com/af7273352979b5286d8f85a9b6915ab6
VFI_GMFSS.json
🟩VFIでノード検索するといろんな種類のVFIが使えますが、　どれがいいかは動画の種類にもよるため使ってみるしかないです
multiplier
fpsを何倍にするかを決めます
2なら、30fpsの動画を60fpsにします
当たり前ですが、動画を保存するとき、フレームレートは元の動画のfps × multiplier にしないと同じ動画時間にならないので注意
generative interpolation
従来のフレーム補完は二枚のフレームの間が0.1秒未満で、ほとんど変化のない画像同士をつなげるものでした
しかし最近で、動画生成AIの技術を応用し、1秒以上の長いフレーム間を補完するものが出てきています
単純に直線的に繋いでいるわけではなく、ストーリーも作られているところに注目です
🪢カスタムノード
https://github.com/kijai/ComfyUI-DynamiCrafterWrapperComfyUI-DynamiCrafterWrapper
https://gyazo.com/669467e658bbd5cd9e03207a5ccd1faa
tooncrafter_interp.json
動画生成AIと併用するときの注意点？
何fpsの動画が生成されているの？
Stable Video DiffusionやAnimateDiff等は24や32フレームの動画が作れると謳っています
が、それが何fpsかは誰もいっていません
24フレーム生成できたとして、8fpsの動画を生成しているなら3秒の動画になりますが、24fpsの動画を作っているなら1秒にしかなりません
VFIはフレームを増やすことができるので24フレームを48にも72フレームにもできますが、24fpsで生成された動画を48フレームにして24fpsで書き出したら、0.5倍速の動画ができるだけです
アニメは難しい
最近はヌルヌルのアニメも多いですが、アニメはあえ3コマ(8fps)にすることでスピードやキレを表現しています
また、中割りも特徴があり、VFIは2つのフレームの時間軸としてちょうど真ん中にくる絵を生成しますが、アニメの中割りは均等に配置せず緩急を持たせています
これ以上は余談すぎるので控えますが、リアルな動画のフレームを増やすVFIとアニメはまだ相性が悪く思います