🦊フレーム補間

👈 |

👉 |

https://github.com/google-research/frame-interpolation/blob/main/moment.gif?raw=true

昔のカクカクした動画を滑らかにしたり、スローモーションにしてfpsが下がった動画を滑らかにするために使われています　ね

技術によっては上のgifのように二枚与えただけで、動画のように見せかけることもできます

fpsを上げる

🪢カスタムノード

multiplier

fpsを何倍にするかを決めます

当たり前ですが、動画を保存するとき、フレームレートは元の動画のfps × multiplier にしないと同じ動画時間にならないので注意

従来のフレーム補完は二枚のフレームの間が0.1秒未満で、ほとんど変化のない画像同士をつなげるものでした

しかし最近では動画生成AIの技術を応用し、1秒以上の長いフレーム間を補完するものが出てきています

単純に直線的に繋いでいるわけではなく、ストーリーも作られているところに注目です

🪢カスタムノード

https://gyazo.com/669467e658bbd5cd9e03207a5ccd1faa

tooncrafterはこの技術の原初的なもので十分すごいんですが、新しい動画モデルが出るたびに遥かに高性能のフレーム補間が出来るようになるので、これを今使う意味はほぼ0です

Extension

https://gyazo.com/356c0e45a7ccf73ace4714f84ccc30fa

1-2枚目/2-3枚目/3-4枚目... と処理を繰り返せば3枚以上のフレーム補完はできましたが、生成された動画はそれぞれ独立していて文脈を共有していません

VACE(Wan2.1)では81フレームの動画を生成出来ますが、81フレームの内、何フレームかに画像を入力しておくとその間が自然に繋がるように動画を生成します

https://gyazo.com/1bd83bd9c5258b25ce9016917516a526

これに入力されたN枚の画像はすべて同じ時間軸にあるので、過去のフレーム補完とは比べ物にならないほど自然な動画が生成されます

動画生成AIと併用するときの注意点？

何fpsの動画が生成されているの？

Stable Video DiffusionやAnimateDiff等は24や32フレームの動画が作れると謳っています

24フレーム生成できたとして、8fpsの動画を生成しているなら3秒の動画になりますが、24fpsの動画を作っているなら1秒にしかなりません

VFIはフレームを増やすことができるので24フレームを48にも72フレームにもできますが、24fpsで生成された動画を48フレームにして24fpsで書き出したら、0.5倍速の動画ができるだけです

アニメは難しい

最近はヌルヌルのアニメも多いですが、日本式のアニメはあえてコマ数を抑えることでスピードやキレを表現しています

中割りも特徴があり、VFIは2つのフレームの時間軸としてちょうど真ん中にくる絵を生成しますが、アニメの中割りは均等に配置せず緩急を持たせています