🦊AnimateDiff_video2video
🏠/🦊雑に学ぶComfyUI
前/🦊AnimateDiff
次/🦊AnimateDIff_ControlNet
一番シンプルな形のvideo2videoはAnimateDiffの基本形を🦊image2imageに変えるだけです
🦊ComfyUIでやってみる
https://gyazo.com/72cdb7544ac9ec9f8a01c094c8ff8db9
AnimateDiff_video2video.json
動画 : https://www.pexels.com/ja-jp/video/9140345/
🟪VHS_LoadVideoノードで動画を読み込み、image2imageのようにVAEEncodeにつなげます
注意点として、mp4をRGB画像に書き出すのでメモリをバカ食いします
force_rate(fps)を8にし、force_sizeでリサイズ、frame_load_capで32フレームのみロードするようにするなど工夫して軽くします
🟩frame_rateは、上のforce_rateと同じ値にしたほうが良いでしょう
😶‍🌫️inpainting
ペンギンだけにvideo2videoさせたらおもしろそうです
一枚一枚マスクを書いてもいいですが、ここはGrounded-Segment-Anythingを使いましょう
カスタムノード
ComfyUI Segment Anything
https://gyazo.com/1389dd91d5c6f770a4c466ef658010e2
AnimateDiff_video2video_inpainting.json
🟦ペンギンをマスクし、SetLatentNoiseMaskノードにつなぎます
とりあえずvideo2videoはできましたがなんだかフラフラしていて安定感がないですね
image2imageなのでdenoiseを上げれば自由度は上がりますが、その分元の画像の情報が薄れていきます
特に回転している人の動画なんかは前と後ろが分からなくなりクィレル先生みたいになります
ということで次はControlNetによる制御を追加してみましょう
→ 🦊AnimateDIff_ControlNet