恋ダンスの達人:深層学習を利用したダンスのキレ採点システム
◎森鈴果, 田中哉汰(関西学院大学),橋田光代(福知山公立大学),片寄晴弘 (関西学院大学)
“踊ってみた動画” が流行するなど未経験者でもダンスに触れる機会が増えているが,ダンスの優劣は感性や感覚に依存するため判別が難しい.そこで,我々は踊ってみた動画とコメントでの “キレ” という用語に着目し,深層学習による “キレ” 判別器の構成を試みた.楽曲のテンポ情報と OpenPose による骨格情報を入力とするモデル構成により 85 %の精度で“キレ”を判別できることを確認した.本稿では,この識別器を利用して構成したダンスの “キレ” 採点システムについて紹介する.
個性と上手さの切り分けはできるのでしょうか?(竹川:未来大)
ありがとうございます.紐付けるラベルを増やしていくことで対応することになります.今回はキレだけ(橋田)
座標だと,カメラに人が近いと大きな値になってしまうのでは.OpenPoseに奥行き情報が入っていないのでtsuchida.icon
ジャンル識別の際は,骨格の角度を用いていたので,そちらの方が特徴量としては良いのかもしれませんtsuchida.icon
ありがとうございます。角度の方でも検証してみたいと思います。(森)
キレってなんでしたっけ?というのは結果を見ればわかるのかな。mmina.icon
ご質問ありがとうございます。身体を動かす、止めることから生まれるメリハリだと言われていますが、具体的にどの程度の速さが求められるなどの定義がないようです。(森)
キレというコメントがあったらその動画内の全ての動作がキレッキレというわけではないのでは?と思いましたtsuchida.icon
ご質問ありがとうございます。動きのない振付などは誤判定(キレがない)と誤判定してしまうものも多くありました。ある程度の動きが見られる閾値を定めることも必要かもしれないと思いました。ご意見ありがとうございます。(森)
キレの解像度は2値でいいのですかね・・・?ダンスは時系列メディアなので,部分的にキレがいいところや,悪いところがあるかと思いました(竹川)
ご質問ありがとうございます。キレレベルとして、当初3値分類など行うことも検討していましたが、評価として新たにアンケートなどを取らずにコメントを利用するため2値分類にしてみました。今後のキレラベルの他に様々なラベルで行う際には多値分類も挑戦してみます。(森)
動画内全ての動作でキレがある・キレがないとラベル付けしてしまうのは、例外の動きも含んでしまうと発表していて気づきました。ラベルの定義、もっと細かく設定することを検討したいと思います。ご意見ありがとうございます。(森)
とてもわかり易い発表でした。(栗原:津田塾大)
これは実際にやってみたいなあ!! mmina.icon
サンプル動画は無い?mmina.icon でてきた
左はキレキレですねwtsuchida.icon
とても興味深かったです!これは体験したかった...tsuchida.icon
これってリアルタイムでスコアリングできる状態なのでしょうか?tsuchida.icon
ご質問ありがとうございます。リアルタイムで解析したいと思い検討中なのですが、まだできていないです。OpenPoseの動画解析を行うfpsの考慮が上手くできずなので、アプリケーションでは撮影済みのものを分析することにしています。(森)
システム出力はBPMの影響を受けるのでしょうか?(能登: 未来大)
ご質問ありがとうございます。システムは恋ダンスに限定しているためBPM158でしか対応ができていないです。動きの速さなどを分析するシステムなので音楽の速さは揃える必要があると考え、BPM158の踊ってみた動画を集めた実験も行いましたが上手く分類できず、BPMの影響についてはまだ検討中の状態となっています。(森)