RIFLEx
https://youtu.be/taofoXDsKGk
https://riflex-video.github.io/Project
https://github.com/thu-ml/RIFLExthu-ml/RIFLEx
https://arxiv.org/abs/2502.15894RIFLEx: A Free Lunch for Length Extrapolation in Video Diffusion Transformers
RoPEの特性上、学習時のフレーム数より長い動画を生成しようとすると周期が一回転してしまい、動きがループしたり変な動きになったりする
RoPE内部にある内在的周波数(intrinsic frequency)=rと生成動画との関係性
https://gyazo.com/364ede65ae290a76cb55838a7d178279
rが高いと、激しい動きをする動画が生成されるとともに、すぐに周期が一回転してしまい、同じパターンの動きが頻繁にループする
逆にrが低いと全然変化のない動画になる
内在的周波数を適切に下げることで自然な長尺動画を生成できるようにする
これだけでも(学習時の)2倍のフレームまで伸ばせたが、少しファインチューニングすることで3倍まで拡張できた
https://github.com/thu-ml/RIFLEx/issues/8#issuecomment-2696818598ComfyUI-KJNodesで実装