ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化システムの提案
https://scrapbox.io/files/6050b93d5e2162001caf05f6.png
複数の楽器を同時に演奏するドラムの上達において,主要な 3 楽器の音量バランスを考慮することが重要であり,基本のビートにおいて,バスドラム,スネアドラム,ハイハットの順に音量が小さくなるように演奏することが理想とされる.この音量バランスの習得において,自主練習をする場合,自分のドラム演奏を客観的に評価することは難しい.また,ドラム演奏を録音することで,自己診断は可能であるが,修正点をふまえて再度演奏・録音し直す方法は効率的とはいえない.これらの問題を解決するため,本研究では半教師あり非負値行列因子分解(SSNMF)を用いて,ドラム正面に設置した単一指向性のマイクで収録したドラム演奏から,リアルタイムにバスドラム,スネアドラム,ハイハットの各ドラム信号へ分離するとともに,叩打時の音量を推定・可視化することで,ユーザに即時的なフィードバックを与えるシステムを提案する.本研究では,実際のドラム演奏においてシステムを使用してもらう実験を行い,フィードバックからシステムの有用性や改善点が明らかになった.
参考資料
スライド
質問・コメント
(平賀・筑波大)素朴な疑問なんですが、なぜマイクを複数本使わなかったのでしょう?
ありがとうございます。個人練習で誰もが手軽に利用できるような仕組みを考えていたので、マイクを1本でもできるような仕組みの実現を目指していました(中村・明大)
マイクの位置による影響は?(北原先生)
ご質問ありがとうございます。今回は調査しきれていなかったのですが、その影響についても考慮する必要があると考えます。(細谷・明大)
マイクを1本だけ立てるという状況は何を想定してのことなのでしょうか?3点の音を録る場合はBDとSD+HHで2本使うことが多いかと思います.位置の設定なども難しくなる要因ではないかと思いました.手軽さを重視するのであればスマホなどで録音したものを使えるといいのではないかと思いました.(平井@駒澤大)
まさに仰るとおり、それが理想で、スマホだけでやりたいというのが最初でした。ただ、スマホで録音していたら画面が見えないとなってしまって、じゃあどうするで、今はマイク1本+ディスプレイと言う形をとっています(中村・明大)
スマートフォンに接続可能な外部マイクが近い将来普及する可能性は十分にあるので、外部マイク1本というのはそれなりに正しいと思ってます。(北原)
あと、練習スタジオにいけば必ずSM58が数本あるので、それを使えばいいという意味でも手軽でいいですね(その場合はオーディオインタフェースが必要ですが)。(北原)
ありがとうございます。理想は、オーディオインタフェースが内臓されているかつ、ブルートゥース機能のマイクが今後普及するといいなと考えています。(細谷・明大)
スタジオで個人練習をしているときなどに使うのであればマイク1本は手軽でいいかなと思いましたが,それならもう少しだけ手間をかけて2本立ててもいいのかなとも思いました.(平井)
はい、ドラム練習はスタジオでやる場合がほとんどなのでそのように考えました。手軽さとの兼ね合いになってしまいますが、2本立てることによって精度面も変わると思いますので、検討して行きます。ありがとうございます。(細谷・明大)
どのみちマイクなり収録機材が必要になるのであれば,最近のビデオカメラ(webカメラでも)にはステレオマイクがついてるので(それも結構頑張ってる)そっちの方がいいかも.マイク1本..オーディオ人間にはウググな状況ですが,とはいえ手軽さは捨てられないジレンマ(橋田:福公大)
ビデオカメラですと映像の情報も取得できるので、叩いている様子(振り幅など動作)からも音量が推定できると考えています。手軽さとの兼ね合いにはなってしまいますが、精度を上げる面では、見た目もかなり音量知覚に影響しそうだなと個人的に考えているので、参考にさせていただきます!ありがとうございます。(細谷・明大)
バンドでのライブを前提にするなら音量バランスよりも個々の音色をきちんと出せているかが重要だったりしそうですが’(個別マイクでのPAが入る前提なら)、でも、適切な音量バランスで叩ければ結果的に音色もしっかりしそうだから、やっぱりこれでいいのかも。(北原)
ありがとうございます!おっしゃる通りで、本番ですとPAが音量調節をしてくれます。ですが、生音での音量バランスをしっかりさせておくことは重要だと考えているため、個人練習を対象としています。(細谷・明大)
はい、それはその通りだと思います。(北原)
主観で決めた係数、聴覚心理学的な裏付けがどうにかして得られるといいですね。(北原)
ありがとうございます。今後勉強して、適切な係数を調査します。(細谷・明大)