🦊FramePack

HunyuanVideoにかかわらず現在の動画生成AIは記憶力が弱いため数十秒の動画を作るとだんだん世界が崩壊していきます

FramePackではこの記憶を特殊な方法で圧縮することで計算量をどんな長さであろうと一定にしています

また、単純に前のフレームから順に生成していくとエラーが蓄積されていき、これまた世界崩壊に繋がるため、FramePackでは最後から作り始めたり、最初と最後から真ん中へ向けて作ったりと工夫がされています

デフォルトとF1

デフォルトは双方向、つまり最初と最後のフレームを作ってから間を埋めるように作っていきます

一貫性が強力に保持されるため、長尺動画やgenerative interpolationに向いています

ただし生成される動画がヌメっとします

F1(forward-v1)は一般的なモデル同様、前のフレームから後ろに向かって順に生成していきます

より自然でダイナミックな動きになりますが、長尺(5s以上)になるとだんだん崩壊していきます

推奨設定値

fps : 30

解像度 : 32の倍数(?)

🪢カスタムノード

モデルのダウンロード

code:model

📂ComfyUI/

└── 📂models/

├── 📂clip_vision/

│ └── sigclip_vision_patch14_384.safetensors

├── 📂diffusion_models/

│ └── hunyuan_video_t2v_720p_bf16.safetensors

├── 📂text_encoders/

│ ├── clip_l.safetensors

│ └── llava_llama3_fp8_scaled.safetensors

└── 📂vae/

└── hunyuan_video_vae_bf16.safetensors

https://gyazo.com/67a0f7e8e30693c061480b8d42daa143

https://gyazo.com/10c29e78cd25e5899758735e1f43e548

https://gyazo.com/e5ec40a170103ac605b6d8c6b200e340

wink → laugh

https://gyazo.com/59fa9ed610e0d05f9ca182eafbe50578