controlnetからアニメーション
Reference-Only Control＋EBSynth のv2vが良いって！
video2videoでTemporalKit使わない方法‼
reference_onlyが動画の時間的一貫性に役立ちそうだという良さげなワークフロー！
ジャクニコ版Godfatherの作例ｗ
https://t.co/LnBPxM8gMW
🇯🇵語手順は(2枚めを)Bard邦訳なので誤訳ご免
https://t.co/I936rnEw2s forasteran
https://gyazo.com/b2efac542949e84d44d7cae7728315a5https://gyazo.com/72fbb3f8009b63c2e17702b377c1e310
AIを使ったアニメーションの実験。
①適当なパラパラ漫画を描く(今回は5枚)
②scribbleで生成
③AIでフレーム間を補完(計25枚)
LoRAとかで補正したらもっと精度上がりそう。
https://video.twimg.com/tweet_video/FwDZFkQagAAy5JN.mp4https://video.twimg.com/tweet_video/FwDZFj0aUAUp5US.mp4
#AIart #AI動画 鈴木ヒトツ
Reference-Only Controlを使うことで線や絵柄の安定感が飛躍的に向上。アニメの制作時間の普通が分からないけど、色々模索しながら素人が一時間ちょっとで出来たから慣れた人ならもっと早くできそう。
個人的なやばポイントは大部分がtext2imageとMultiControlnet等によるものでimage2imageを殆ど使わずに完結したこと。 鈴木ヒトツ
https://github.com/mattyamonaca/sd-webui-controlnet
ControlNetのボーン動画を入力するとアニメーションを生成できるAutomatic1111の拡張機能を作りました！
もう少しテストして今日か明日にgitに公開します！
#ControlNet #AUTOMATIC1111 #AIイラスト #AIArt 抹茶もなか
video loopback for webui
#ControlNet #✖stableDifusion nike 🤤use video loop back and controlnet with canny Charles
https://video.twimg.com/ext_tw_video/1628713211913699328/pu/vid/682x1278/0-Jig_4gYpVcD0LV.mp4
一貫性たけーなwogikaze.icon
https://github.com/fishslot/video_loopback_for_webui
なぜこんなに安定しているのか？基素.icon
video to videoをしているはず
出力結果のモデルはNAI系に見える
元のvideoと利用モデルわからない
LoRA等でキャラクターを学習してプロンプトでそれが出るように調整してる？
controlnetからアニメーション#63fb512d774b1700008be05bのようなモデルを使っていると思うので、多分してない
Denoising strengthがそもそも低そうnomadoor.icon
OpenposeとCannyかDepthの併用はしてるのかな
@xianienie: sorry for I forget about the credits:
Model:绝区零 妮可 Welton miHoYo #ZenlessZoneZero
https://www.aplaybox.com/details/model/8y6vqv4v3Rdc この辺りっぽい基素.icon
https://zenless.hoyoverse.com/ja-jp の妮可（Nicole）というキャラらしい
mihoyoは原神ではMMDモデルを配布しているけど、今回はまだじゃない？
https://zenless.hoyoverse.com/ja-jp
本国だとしてるのかなあ
してなさそう
https://www.bilibili.com/video/BV1EB4y167xd/
全ての動画がmodelの出典が雑すぎるw
https://www.aplaybox.com/details/model/8y6vqv4v3Rdc この辺りっぽい
Motion：JohnyL
https://www.youtube.com/watch?v=jDY111cZK-Q
でモーション配布してる
PUBGのモーションをぶっこぬいているっぽい...
Audio：Roll'n Rock
うーん、Live3Dを使うならControlNetいらなくない？使ってないんじゃないかな？
こう作ってるのかな？基素.icon
MMDの3Dモデルでダンスを踊らせて出力
openpose + cannyでnoiseを低めにしてVideo Loopback
利点
viode loopbackを使っているので普通のimage2imageよりちらつきが抑えられる
EbSynthで作ってみた
モデルをAOM3からDeffmix2に変えたのでしっかり顔の雰囲気変わった
100枚位のキーフレームにだけCannyかければいいから圧倒的に作成時間短縮されるしチラつきほぼ無いし凄ない？？？？
#stablediffusion #canny #ebsynth navigator