スプライトシートを使ったimage2imageでEbSynthの時間的整合性を向上させる

参考

手法

その中から最初と最後のフレーム + 特徴的なフレームを2つ選ぶ

大きく動作がスタートするフレームが良い

その4つを1枚にグリッド配置する

VRAMに余裕あるのなら3×3や4×4もお試しあれ

512×512の4枚の画像に戻す

名前を元の画像と同じにする

Keyframesにはimage2imageした画像が入ったフォルダ

Videoには元動画の連番画像が入ったフォルダ

設定はこんな感じ

https://gyazo.com/d8c64eb1787a8737db536c2c414da957

Run All

必要であれば連番画像を動画に変換する

元動画

https://gyazo.com/33681bf4251f926221f9f1e5b88ac897

4フレームを選択してグリッド配置

https://gyazo.com/c60839815cf5b75fd15f5de0067bb80f

image2imge

人を使うときはcannyやhedだけだとうまくいかない

グリッド配置したOpenPoseを頑張って用意してhedと併用する

https://gyazo.com/7b6af6134805b65f74b5e3224f34e7ca

出力

code:AOM2

high detailed,school uniform,(freckles:0.8),(poress:0.8),black hair,blue colored inner hair,blue eyes, thick lips, lip gloss,(sleeveless:1.2),(white simple background:1.3)

code:negative

text, effect,Light glare on film, Light reflected on film, effect,badv3 badhandv4 ,longbody, lowres, bad anatomy, extra digit,worst quality, low quality, lose,(3d, realistic)

Euler / 25steps / CFG 8.5

hedが効きすぎると汚くなるのでGuidance Startを0.17に

それでも全体的に荒かったのでSD upscaleで2倍にしたものを1024×1024にリサイズ

Denoising strengthは0.5 4x_NMKD-Superscale-SP

リネーム

https://gyazo.com/77037a3cc01259eaf6eec73f31643e1d

EbSynthに通す

https://gyazo.com/4eabae1c545c34deb1886023ab38fac4

右はなんとなく背景を消した素材をKeyframesに入れたもの

ちなみに1枚でやるとどうなるんですか？

https://gyazo.com/4ab399aa2ca3193c33e42b110598f103