VACE ExtensionとFLF2Vの違い

nomadoor.icon

ただし、こちらは謂わばチェックポイントとして指定したフレームに画像を入力し、モデルはそのチェックポイントを通るように動画を生成していくというやり方。

そのため(Wan2.1では81フレームという制限があるものの)、入力したすべての画像は同じ時間軸を共有していることになり、生成された動画はFLF2Vに比べ時間的一貫性がありとても滑らかなものになる

アニメの中割りなんかは、これでようやく本質的に使えるようになるんじゃなかろうか

少なくとも二枚の画像間を補完するFLF2Vという技術は終わって、Extensionというタスクに内包されると思う

古典的なテクニックであるoverlapをVACE Extensionで行えば81フレーム以上の動画生成も出来る

アニメーション中割り

FLF2V

https://gyazo.com/cec7e1228c9c37a32b5de5b849589c1e

17フレームの動画を3作り繋げる (17×3=49f)

Make three 17-frame clips and join them (17×3=49 frames)

🟨1-2枚目/2-3枚目/3-4枚目の組み合わせをリストにして入力

List the frame pairs 1→2, 2→3, and 3→4 and use that list as input

🟨生成後、リストからそれぞれを取り出して合体(batch)する

After generating, pull each clip from the list and batch-merge them

ただし、動画と動画をつなぐ部分で1フレーム余分が出るため、2つ目/3つ目の動画は最初の1フレームをカットする

Because each join adds one extra frame, cut off the first frame of the 2nd and 3rd clips

https://gyazo.com/3b09376874a4089184ade0dc0d89ad46

https://gyazo.com/3fd50652cc8493d5ffda1987b93c5439

49fの中で通るべきチェックポイントとして画像を4つ入力する

Use four images as checkpoints within the 49-frame sequence

🟨均等に分ける必要はないけど、(めんどくさかったので)今回はまんべんなく配置

They don’t have to be perfectly even, but here we spaced them roughly equally:

1枚目 → 白い画像15枚 → 2枚目 → 白い画像15枚 → ... ...

1st image → 15 blank frames → 2nd image → 15 blank frames → 3rd image → 15 blank frames → 4th image

For every frame that isn’t one of the four input images, fill it with a full mask

https://gyazo.com/0fdf07d8311c267d09aa24581c3b2d27

VACE (Improvement)

https://gyazo.com/9cb508fbbc705b2719e6c66a813bf17e

0:(0.0), 1:(1.0), 7:(1.0), 15:(1.0), 16:(0.0), 17:(1.0), 31:(1.0), 32:(0.0), 33:(1.0), 47:(1.0), 48:(0.0),

0:(1.0), 16:(1.0), 32:(1.0), 48:(1.0),

input

prompt

Dashcam footage of a sunny street in Tokyo with Tokyo Tower in the background, modern buildings on both sides, a sidewalk with trees and a pedestrian, and a green truck on the road."

FLF2V

https://gyazo.com/2d9ab03986e031b8097cb64f4ea4ef03

VACE

https://gyazo.com/b23a73167bdcaa32d093b7befba32641