vqgan+clip animationをlocalで動かしたい

tl;dr

魔改造した

VQGAN_clip_animation.pyにyamlに引数突っ込めば出してくれるようにした

その過程でprogram&typed config fileあったら便利だよな～と思って調べてた

色々あったけど、案件で使わないといけなくて時間的に断念...

代わりにpythonのdataclassつかって疑似typed実装

他できたらいいなと思ってること

時間-目的画像seqまでの距離、を紐づけしたanimationができたらいいなと思っている

vqgan+clip animationはinitial imageを元に毎フレーム任意のiterationだけ変換

initial imageが違えば当然、同じiteration回したとしても違う結果が帰る

ddpm, stable diffusionのseed値の考え方

多様体の中で同じtrajectoryを通るようにしてほしい

(目標): initial imageが異なっていても大体"同じ"ようなアニメーションの見え方になってると最高

ただし同じtrajectoryを通ったからと言って"同じ"ような見え方になっているかは保証できない

恐らく元々の連番と対応する連番のGW最適輸送でも求めないといけないのでは...という浅考

ちゃんと多様体(仮説)とその距離について学ばないと...