🦊FreeInit
AnimateDiffはランダムな初期ノイズからではなく、ノイズ化された既存のビデオ(画像間の時間的な一貫性がある画像)のlatentで学習され、既存のlatentにノイズを与えても、ノイズ化されたlatentに低周波数のデータが残っているという考え方です。
とにかく、AnimateDiff(のみならず)はぐにゃんぐにゃんした動画になることが多いですが、FreeInitを使うとそれを抑制できたりできなかったりします 低周波ノイズ後に高周波ノイズでサンプリングをするため、単純に生成時間が二倍になるので注意です
🦊ComfyUIでやってみる
https://gyazo.com/113d5fbfea6c1d5e9a3af29b31145b9a
https://gyazo.com/7f35240ff2943d3034640c5370137388https://gyazo.com/6322274d9561d0166f992706806fee2a
←FreeInitなし →あり