【だれか作って】動画のfpsを動的に下げたり下げなかったりする
アニメはずっと均等なコマ割りをされているわけではなく、動きの少ない場所はあまり動かさず、動きが激しい場所ではたくさんコマを使ってたりするnomadoor.icon 動画生成AIは当然ながら均一なfpsで動画を生成するのでヌルヌルしすぎる
人間にとってはある意味手抜きのための技術だけど、これを再現したい
ちょっと気になるのは動画フォーマットそのものが可変フレームレートに対応してるのかな⋯？(調べる)morisoba65536.icon
MP4、webm、mov、wmv、mkv、RMVBなど、比較的新しいフォーマットなら大体対応してるっぽい、avi等の古いフォーマットは無理、apngやawebpはちょっとわからない(情報なかった)
全体の出力は24fpsで固定だけど、同じフレームを3回繰り返すことで8fpsに見せかける…みたいな単純な処理を考えてたnomadoor.icon
可変フレームレートなんてあるのか()
動画内の各フレーム間のモーション量に応じて、間引き（fps調整）するいはどうしたらいいですか
ChatGPT.icon
OpenCVのFarneback法やRAFT, PWC-Net等で、フレーム間の動きベクトルを計算
各ピクセルのベクトル長の平均 or 分散で「モーションスコア」を定量化
フレームごとのモーションスコアを蓄積し、以下のようなロジックでダウンサンプリング（間引き）を制御：
横はともかく奥行辛そう
ffmpegで分割→一部fps下げ→可変フレームレートで結合は出来るが、普通のカクカク動画と変わらないskuy izyoi.icon
まずキャラと背景分離？
前景抽出は適当にセグメンテーション、背景のキャラがいた部分はVACEで埋められそうかなnomadoor.icon
そうか、背景のフレームレートは別なんだnomadoor.icon
このあたりのアニメ制作のちゃんとした資料欲しいな…
キャラの作画は2コマ・3コマなんだけど、その後の処理(カメラ、エフェクト)は24fpsだから、生成された動画からキャラだけコマ数減らすの難しいな…nomadoor.icon
動画のレイヤー分けは、また一段レベルが高いや
そういうLoRAを作ったほうが早いような気がしてきた