MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
1枚まとめ
どんなもの?
#music_style_transfer
#Symbolic
#Polyphonic
#Multi-track
ISMIR2018
MIDI-VAEという音楽のジャンルを変換(例えばクラッシックからジャズへ)するモデルを提案
データはシンボリック
音楽のダイナミクス(音符の並び)だけでなく、音程や器楽編成も変える
前後の音楽を元に、間の音楽を生成できる
これ面白いなーと
曲のmixができる
先行研究と比べてどこがすごい?
筆者の知る限りでは、音楽のジャンルの変換に最初に成功したモデル
技術や手法のキモはどこ?
潜在変数に音楽のジャンル(スタイル)情報を組み込むために、潜在変数の一部を入力とするスタイル分類器を作成し、その予測値の誤差を全体のモデルの誤差関数として組み込む。
どうやって有効だと検証した?
2ジャンルのどちらであるか、分類する分類器を作成し、スタイル変更後の音楽を分類させ、その精度と精度の変化を見る
議論はある?
2分類なら、2つのジャンルとも似ても似つかない音楽に変化させるようにすれば、50%になって精度変化は大きくなるよね
聴いてみたけどそんなにうまくいってる感じがしない
これはそこそこ??と言うか単純に楽器が変わっただけなような気もする
https://www.youtube.com/watch?v=IF-U04y-mZU
次に読むべき論文は?
12,26 口笛から音楽をつくる?、ジャンル変換もできるし、このモデルとなにがちがう?
A Universal Music Translation Network
Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders
23 note velocityとは?音楽がリアリスティックになるらしいけど?
リンク
https://arxiv.org/abs/1809.07600
https://www.semanticscholar.org/paper/MIDI-VAE%3A-Modeling-Dynamics-and-Instrumentation-of-Brunner-Konrad/f15f208a0421d330c50270ed10b716f1c01d38a3
#survey
#Music_Generation