CogVideoX-Fun
https://github.com/aigc-apps/CogVideoX-Funaigc-apps/CogVideoX-Fun。
CogVideoX-FunはCogVideoXの構造をベースに改良されたパイプラインで、AI画像や動画の作成、Diffusion TransformerのベースラインモデルやLoraモデルの学習に使用できます。 既に学習済みのCogVideoX-Funモデルから直接予測をサポートし、異なる解像度で約6秒、8fps(1~49フレーム)の動画を生成することができます。 また、ユーザー自身がベースラインモデルやLoraモデルをトレーニングして、特定のスタイル変換を実現することもできます。
モデル
https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InPalibaba-pai/CogVideoX-Fun-V1.1-5b-InP
https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-Posealibaba-pai/CogVideoX-Fun-V1.1-5b-Pose
https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-2b-InPalibaba-pai/CogVideoX-Fun-V1.1-2b-InP
https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-2b-Posealibaba-pai/CogVideoX-Fun-V1.1-2b-Pose
https://www.reddit.com/r/StableDiffusion/comments/1fvlslw/cogvideoxfun_pose_is_insanely_powerful/CogvideoXfun Pose is insanely powerful
poseを3Dレンダリング動画に対して使った例
MotionDirector × LooseControlみたいで面白いnomadoor.icon
公式でComfyUIカスタムノード付き
generative interpolation
#アリババ