文献調査：リズムゲーム
Dance Dance Convolution
Chris Donahue, Zachary C. Lipton, Julian McAuley
Proceedings of the 34th International Conference on Machine Learning (PMLR), Vol. 70, pp. 1039-1048, 2017
Dance Dance Revolution (DDR) は人気のリズムベースのビデオ ゲームである。プレーヤーは画面上のステップチャートの指示に従って、音楽に合わせてダンスプラットフォームでステップによる操作を行う。多くのステップチャートは標準化されたパックで利用できますが、プレーヤーは既存のチャートに飽きたり、チャートが存在しない曲に合わせて踊りたい場合があります。そこで、振り付けを学習するタスクを導入します。生のオーディオトラックが与えられた場合、新しいステップチャートを作成することを目的とする。このタスクは、(1) ステップを配置するタイミングの決定と、(2) 選択するステップの決定という 2 つのサブタスクから構成される。ステップ配置タスクでは、RNNとCNNを組み合わせて、低レベルのオーディオ機能のスペクトログラムを取り込んで、チャートの難易度に応じてステップを予測します。ステップ選択では、$ n-gramおよび fixed-window approach を大幅に上回るconditional-LSTM 生成モデルを紹介する。
Conclusion
音楽のオンセット検出と統計的言語モデリングからの洞察を組み合わせることで、振り付けを学習するためのいくつかのディープラーニング手法を設計し、評価を行った。この問題と関連する問題に対するより広範な調査を促進するために、標準化されたデータセットと再現可能な評価方法を導入した。利用可能なステップチャートの膨大な量は、MIR にとって、大量の高品質の注釈付きデータへのアクセスというまれな機会を提供していることを強調します。このデータは、オンセット検出、ビート追跡、テンポ検出など、いくつかの MIR タスクの革新を促進するのに役立ちます。
MIR : music information retrieval : 音楽情報検索