YuE
https://gyazo.com/d648f3fda8433fad39b608f40b9dee1d
https://map-yue.github.io/Project
https://github.com/sdbds/YuE-for-windowssdbds/YuE-for-windows
フォーク元(GUIなし)https://github.com/multimodal-art-projection/YuEmultimodal-art-projection/YuE
https://huggingface.co/collections/m-a-p/yue-6797d55e22990ae89b90a3d6YuE
本研究では、歌詞から楽曲全体の音楽オーディオを生成するタスク「Lyrics2Song」に取り組みます。
YuE は LLaMA ファミリーに組み込まれたモデルであり、最大 5 分間の楽曲オーディオを生成可能です。
The Model Song
https://map-yue.github.io/music/yue.mp3
https://www.techno-edge.net/article/2025/02/05/4080.html記事(一部引用)
香港科技大学などが開発したオープンソースのAI作曲ソフト「YuE」が発表されて数日経ちました。筆者はWindowsでのインストールができずにつまづいたものの、WSL2のLinux環境で実行できるようになりましたが、本家のGitHub情報では使えるまでに一定のスキルは必要なようです。
■YuE for Windows
まず、本家のブランチとして登場した「YuE for Windows」は、WindowsのPowerShellでインストールが可能になっています。特に問題がなくGradioによるWeb UIまで到達できました。
■Pinokio版YuE
もう一つの選択肢は、Pinokioです。PinokioはAIのオープンソースソフトをクリックするだけでインストールできる仮想環境。
人気のある、もしくは管理者のCocktail Peanutさんが面白いと思ったソフトはかなりのスピードでユーザーが利用できるようになります。筆者の場合はFLUX.1 dev、ComfyUI、MMAudio、Pyramid FlowといったソフトをPinokio経由で使っています。
Windowsだけでなく、macOS、Linuxにも対応していて、「NVIDIA Only」と書かれている、CUDAを必要とするもの以外はだいたいクロスプラットフォームで使えます。
さて、YuEのPinokio版は、2つあって、1つは通常版。音楽スタイルと歌詞を指定して推論するものです。
もう1つは、参照する楽曲を指定し、それに音楽スタイルと歌詞を指定することで、参照元に近い音楽を生成できるというAudio Prompt機能を備えたもの。
ライセンス
Apache 2.0
text2audio/text2music