アップスケール

アップスケール (Upscale) は、画像などの離散信号の解像度を高くする処理

手法

補間・再標本化

入力信号を補間・再標本化 (resampling) するアプローチ

最も単純な補間は最近傍補間であるが、多くの場合は不適切

ピクセルアートをPixel-perfectで補間したい場合に適している

基本的には、カーネル関数を選定して畳み込みを行う

以下のような選択肢がある

フーリエ変換

フーリエ変換によって、画像を一度周波数領域に変換してからアップスケールするアプローチ

TODO: 事例？

ピクセルアート向け手法

ピクセルアートのアップスケールに用いられるアルゴリズムが多く開発されている

hqx・xBRなどが代表例

ベクター化

ベクター化は、画像を一度ベクターグラフィックスにしてしまうアプローチ

SDF化

画像を一度Signed Distance Fieldにしてしまうアプローチ

CNN

画像のアップスケールに特化した畳み込みニューラルネットワークを用いる

waifu2xの登場以降、よく選択される手法となった

ゲームにおいては、NVIDIAのGPUが提供するDeep Learning Super Sampling (DLSS) が用いられていることが多い

Hires.fix

Hires.fixは、Stable Diffusionなどの拡散モデル・image-to-imageモデルを用いて画像のアップスケールを行う手法

プロンプトによって画像のコンテキストを指示することができるが、元の画像から逸脱した結果となることも多い

生成AIコミュニティでよく用いられる手法

スーパーサンプリング

そもそも画像のレンダリングを高解像度でやってしまおうという本末転倒の解決手法もあるよ、もちろん