FreeU
私たちは、コストをかけずに拡散モデルのサンプル品質を大幅に向上させる手法である FreeU を提案します。トレーニングも追加パラメータの導入も、メモリやサンプリング時間の増加もありません。
https://www.youtube.com/watch?v=-CZ5uWxvX30
https://gyazo.com/8d9e98850ed119ba19d39137816839e7
U-Netの主要部(backbone)に係数をかけて増幅させることで画質を向上させる https://gyazo.com/28695cf106a7c1d9515037f93ef296c1
ただし過剰に平滑化(絵がのっぺらする)ためskip connectionの周波数領域でのスペクトル変調を行うことで、低周波成分を減衰させる
この係数(s)はどれだけ大きくしても画像合成品質(?)には影響しない