ACE-Step
https://ace-step.github.io/Project
https://github.com/ace-step/ACE-Stepace-step/ACE-Step
https://huggingface.co/ACE-Step/ACE-Step-v1-3.5BACE-Step/ACE-Step-v1-3.5B
https://huggingface.co/spaces/ACE-Step/ACE-StepDemo
私たちは、新しいオープンソースの音楽生成基盤モデル「ACE-Step」を紹介します。
現在の方法では、生成速度、音楽的な一貫性、制御性の間でトレードオフが生じています。例えば、LLMベースのモデル(Yue、SongGen など)は歌詞との整合性に優れているものの、推論速度が遅く構造的な欠陥が見られます。一方、拡散モデル(DiffRhythm など)はより高速な合成が可能ですが、長期的な構造的な一貫性に欠ける傾向があります。
ACE-Step は、拡散ベースの生成を Sana の Deep Compression AutoEncoder (DC-AE) と軽量な線形トランスフォーマーと統合することで、このギャップを埋めます。また、MERT と m-hubert を活用して、学習時にセマンティック表現(REPA)を整合させ、迅速な収束を実現します。
ComfyUI公式実装
https://github.com/comfyanonymous/ComfyUI/pull/7972Initial ACE-Step model implementation.
https://huggingface.co/Comfy-Org/ACE-Step_ComfyUI_repackaged/tree/main/all_in_oneComfy-Org/ACE-Step_ComfyUI_repackaged
#stepfun-ai