被写体ロックオン with Wan2.1 VACE outpainting

被写体ロックオン with Florence-2 and SAM2ではクロップしたけど、逆にはみ出たとこoutpaintingしたら面白いんじゃね？と思ったnomadoor.icon

電子手ブレ補正もクロップするんじゃなくてoutpaintingする方向にすれば、画角が狭まらずにすむかもしれない

改良した → Smooth 被写体ロックオン with Wan2.1 VACE outpainting

https://gyazo.com/1394ee01cdaec72b18f1ad79ba95c79ahttps://gyazo.com/7a7747dfdeebcac6e0572760e6133465https://gyazo.com/4aba76d52e42a18ae58c0d7611423cb1

https://gyazo.com/6d519193f42eccf061c5ada3e5311a98https://gyazo.com/9b3840f76612e04a0de05382026b381dhttps://gyazo.com/b1a96fd85fc13cc87223eff7c4515eab

https://gyazo.com/f09631d74edb0590218b7d8c5b53dfafhttps://gyazo.com/3adbd4d6c5a7415f98a3b8d0c496ba16https://gyazo.com/a72d1f34fcf6d507c5fb40e4d8166521

統合版

VRAMの解放が上手くできなくてOOMになるので下の分割workflowを使った方がいい

https://gyazo.com/34fbbcaccc6180dd61fe268a4f5bb164

Lock-On Stabilization with Wan2.1 VACE outpainting.json

分割版

Lock-On Stabilization using Florence2 and SAM2

https://gyazo.com/a7b692cc829fcfb5dc62e34d68171082

Lock-On Stabilization using Florence2 and SAM2.json

🟥動画の解像度を総ピクする数0.3Mに縮小する(12GBVRAMの場合)

VRAMに余裕があればもっと大きくしてもいい

上下左右に緑色のpaddingを追加

🟪Florence-2で物体検出

🟩SAM2でマスクに

🟨マスクの部分を中心に適度なpaddingを加えてクロップする

paddingの量はcontext_from_mask_extend_factorの値で調整

Wan2.1 VACE outpainting

https://gyazo.com/de26e64db7d4c65003ce33bfb06586ec

Wan2.1 VACE outpainting.json

🟨上で作った動画を読み込む

🟦🔧 Mask From Colorノードで緑色の領域をマスクにする

統合版ではRGB(0,255,0)でいいのだけど、一回出力すると色が変わるようでRGB(19,255,8)みたいに調整する必要があるかもしれない

🟦VACEに入力する動画でoutpaintingする場所は灰色にした方が良いのでImageCompositeMaskedノードで緑の部分を灰色に置き換える

🟪あとはGGUF版Wan2.1 VACEの基本形