FreSca
https://gyazo.com/435ea90dfa04008fa75bb159e5425bb4
https://wikichao.github.io/FreSca/Project
https://github.com/WikiChao/FreScaWikiChao/FreSca
https://arxiv.org/abs/2504.02154FreSca: Unveiling the Scaling Space in Diffusion Models
拡散モデルのノイズ予測差分 Δε をフーリエ変換(FFT)で周波数成分にしたところ、低周波成分と高周波成分それぞれが別の挙動をしめすことが分かった
cf. $ \varepsilon_{\text{CFG}} = \varepsilon_{\text{uncond}} + w \Delta \varepsilon_t
高周波成分(h)はテクスチャーや質感など細部をを司り、低周波成分(l)は全体的な構造を司る
それぞれに係数をかけることで細部や構造を調整出来る
h > 1（高周波強調）：エッジやテクスチャが鋭くなりシャープさが増す
h < 1（高周波抑制）：ディテールノイズが減って元画像の雰囲気が残りやすくなる
l > 1（低周波強調）：構造変化がより大きくなり編集効果が強まる
l < 1（低周波抑制）：大域構造が抑えられて細部のテクスチャが際立つ
画像編集や拡散モデルベースの深度推定(Marigold)、動画生成モデルで品質向上が見られた
ComfyUIでは公式にFreScaノードとして実装
https://gyazo.com/81eb64a13be2ecc523328ca30f760737
FreSca_SDXL.json
https://gyazo.com/afd11fe51f1556556bf0b20158b4eea6
なんとなく似てるような気がした
FreeU