モーションキャプチャと複合現実感技術を用いた舞踊の教育システムの試み

複合現実感技術は，現実世界の情景と，CGにより作り出す仮想世界とを違和感無く，リアルタイムに合成表示する技術で，近年，エンタテインメントや製造業などの分野で広く注目を集めている．本稿では，モーションキャブチャにより取得された舞踊の身体動作データを，複合現実感システムを用いて表示・観察することによる舞踊の教育・学習支援システムについて提案する．舞踊の教育・指導・学習にとって必要ないくつかの表示機能について述べる．また，このような新しい対話的システムにとって必要なユーザインタフェースについても，いくつかの試みを提案する．

@article{加藤広務2003モーションキャブチャと複合現実感技術を用いた舞踊の教育支援システムの試み,

title={モーションキャブチャと複合現実感技術を用いた舞踊の教育支援システムの試み},

author={加藤広務 and 八村広三郎 and 田村秀行 and others},

journal={じんもんこん 2003 論文集},

volume={2003},

pages={79--86},

year={2003}

}

概要

本稿では，モーションキャプチャにより取得された舞踊の身体動作データを，複合現実感(MR)システムを用いて表示・観察することによる舞踊の教育・学習支援について，提案している．

主に，HMDを用いて，現実世界にCGキャラクタを表示，または身体動作の合成表示を行い，学習・練習支援を目指している．

舞踊の教育・指導・学習をする際に必要になる表示機能，またユーザインターフェイスについて述べている．

基本的にいくつかのパターンを提案しているのみで，実験などを通して，どれが最適であるかの考察までが述べられていない．

「実験により確かめられた」などの記述はあるがデータなどの添付は無かった．

手法

MRプラットフォームを用いて，前述の表示手法などを検討している．

MRプラットフォームとは，Canon MRシステム研究所によって開発された複合現実感のためのシステムである．独自仕様のHMDと位置姿勢を検出するための地磁気式トラッキングセンサシステムを搭載している．周囲の情景も見えるビデオシースルー方式を用いている．

◇ 表示モードについて

学習や指導のために用いるCGキャラクタの表示方法として，3つの手法を検討．

ソリッドモデル：立体感や存在感がある．

ワイヤーフレームモデル：骨格の動きがより詳細に観察できる．

ソリッドモデルとワイヤーフレームモデルを合わせたモデル：2つの長所を組み合わせる．

◇ 表示モデルや表示方法について

5パターンの表示モデル・形式について検討．

等身大モデル表示

CGキャラクタを視覚的に等身大で見えるような表示を行う．

ユーザは目の前に舞踊家がいるのと同じような感覚を得る．ユーザが先生から舞踊を学び，模倣する際に，細かい動きを間近で確認し，同じ動作の繰り返し表示もできる．

縮小モデル表示

CGキャラクタを実際のサイズよりも縮小して表示する．

ユーザが普段観察することができない視点で舞踊を観察できる．例えば，上側や下側から見下ろす，見下げるように観察する，また離れた位置からの観察ができる．模型の舞台上で縮小キャラクタを躍らせることで，舞台上での全体的な動きの観察もできる．

観察者自身とCG像の重畳表示

CGキャラクタとユーザ自身の像を重ねて表示する．

ユーザがGキャラクタと動きを比較することができる．

演出者とCG像の同次並置表示

CGキャラクタを演技者の像の横に並べて表示する．

ユーザが指導者である場合を想定している．HMDを着用しているユーザが指導者して，CGキャラクタと演技者の動作の違いを発見，比較し，指導を行うことができる．

演技者とCG像の同時重畳表示

CGキャラクタを演技者の像に重ねて表示する．

ユーザは指導者を想定しており，演技者の動作とCGキャラクタの動作を比較しつつ，模範動作とのずれを明確に把握できる．

◇ 操作インターフェイスの検討について

システムではHMDを着用しており，ユーザの視点や視線方向の移動については，磁気センサのトラッキングシステムで自動的に情報が得られる．

しかし，CGキャラクタの動作の細かい動きの観察のため，動作の停止，開始，スロー再生などの操作をユーザが行う必要がある．また観察モードの切り替えもユーザが自由に切り替えることができる必要がある．

操作インターフェイス例

ジョイパッド

コンピュータゲームで使用されているもの．

現実空間を移動しながら，操作を行うことができる．動作の停止，開始，スロー再生などのキー配置を設定し，操作を可能とした．コンピュータゲームをしたことがある人は操作の習熟にそこまで時間がかからないことが実験より確かめられている(実験のデータなどの記載はない)．

操作をする際に両手がふさがってしまうため，操作者自身が舞踊を行う際には適切ではない．

仮想コントローラ

現実空間の情景にCGで作成したコントローラを配置し，操作のためのインターフェイスとして使用する．

仮想コントローラは必ずしも視野内表示させ続ける必要はなく，必要に応じて表示できるようにする．

操作は指先をコントローラのボタン位置に持っていき，接触判定を行い，起動させる．指先の位置の検知には，画像処理を用いたいが，現時点では難しかったそうで，

本研究では，指先に磁気センサを装着し，位置情報を取得しているが，誤差も含まれるため，厳密な一致が困難であるという結果となった．

実験

基本的に手法の提案に限定しており，システムを実現しているわけではない．

実験データや実験手法などは記述されておらず，今後行っていく予定となっている．