FreeInit
https://youtu.be/lS5IYbAqriI
https://tianxingwu.github.io/pages/FreeInit/
Project
https://arxiv.org/abs/2312.07537
FreeInit: Bridging Initialization Gap in Video Diffusion Models
https://github.com/TianxingWu/FreeInit
TianxingWu/FreeInit
ビデオドメインにおいては、学習時と推論時のノイズの周波数分布にギャップが存在し、これが生成ビデオの時間的な一貫性や視覚的な品質に悪影響を与えることを、本論文は初めて明らかにした。
推論時のノイズの低周波成分が生成ビデオの分布を決定することを示し、これを利用して、推論時にノイズを反復的に再初期化することで、学習時と推論時のギャップを埋めるFreeInitを提案した。
AnimateDiff
や
ModelScope
と組み合わせることで、生成される動画の安定感が上がる