顔画像を超解像upscaleする

https://gyazo.com/a06f4b85402f6cfb57098888544d7d5c

亡くなった祖父の遺影が、集合写真からのクリッピングでかなーーり解像度が荒く、もうちょっと良い画像に差し替えたくなった

そういえば今日日のニューラルネットワーク使えばいい感じにるんじゃない？と試す

高解像化はSingle Image Super Resolution

ESRGAN系統やSwinIR等々がある

Face Restorationの「顔だけ超解像」モデルもあり、リアル顔の解像度を上げるにはこちらを使う

GFPGAN シリーズ(RestoreFormer, CodeFormer もGFPGAN系統)

テンセント作。

おっ、Spacesで試せるじゃん

ソース見ると、このデモは元画像が300px以下ならopencvでまずx2しているな

なお、GFPGAN 1.2,1.3,1.4, RestoreFormer,CodeFormer は新しければ良いというわけではなく、一長一短なので、高解像したい画像に合わせて選ぶと良い

このモデルリストを見ればモデルもざっくりわかる

SD-WebUI では、Face Restoration のモデルはざっくりとしか選べないので、chaiNNer を使うと試しやすい

128px → 4096px への高解像化(私の写真)例をページ下部に添付している

顔だけFace Restoration (CodeFormer)で x8

顔以外の背景はSwinIR(003_realSR_BSRGAN_DFOWMFC_s64w8_SwinIR-L_x4_GAN.pth) で拡大

これで1024pxになるので、さらにSwinIR でx4倍して4096pxとしている

なお、祖父の遺影は、服もmask + inpaint で chaiNNer から stable diffusion API で繋いで、遺影風スーツ生成画像へ差し替えたりしている

chaiNNer から SD 繋げるの便利であった

服はupscaleがだいぶ荒かったので、そのため生成した感じ。