練習支援システム / Practice Support

提示手法

バーチャルキャラクタ

AR

https://scrapbox.io/files/60d2cfbe6289ca0022e49943.png

VR

Participants: 40名

Task: 8つの動作

Group: 「Non Dancer」「 Regular Dancer」

https://scrapbox.io/files/60d2d05074d0a6001cf14949.png

プロジェクション

Participants: 被験者: 2名のみ

Task: 6つのジェスチャ

Group:

Evaluation: 姿勢空間の投影の安定性、ジェスチャ認識制度などのシステム性能評価。システム利用。

https://scrapbox.io/files/60d2d09bb005ca001caf088b.png

ビデオ映像

Participants: 30名

Task: 10種類のダンスの動き

10種類のダンス練習後に3回のルーティーン動作

Group: VideoとGameとVideo and Game(Both)を比較

4人のユーザがカテゴリー1（最も活動していない），14人がカテゴリー2，11人がカテゴリー3（最も活動している）に分類．

Evaluation:

フルルーティーンのスコアの平均値

自由時間の練習時間の長さ

ジャッジ3名によるパフォーマンスの評価

以下を5段階評価

ムーヴ（どれだけ正確に覚えているか）

タイミング（リズム感）

フレアー（どれだけ優雅でスムーズな動きをしているか）

基本的にはゲームを導入するとスコアが下がるという悲しい結果に。

https://scrapbox.io/files/60d2d178b005ca001caf09ff.png

Participants: 13名

Task: 6種類のダンスの動き

Group:

Evaluation: 提案するスコアリング手法（Position, velocity, 3D flow）と先生による主観評価（“Choreography” (CH), “Musical Timing” (MT) and“Body Balance” (BB)）の違いを見る

https://scrapbox.io/files/60d2d1d2b9f00f001c077db3.png

Participants: 8人の参加者 (21歳から51歳（x̅=30.1歳）)

Task: 2つのバレエの動きと2つの抽象的な動きの4つの動き (45回練習)

Group: 「YouMove(提案システム)」と「ビデオ」の2つの条件

Evaluation:

トレーニング終了の5分後に短期記憶テスト

このテストでは，デモンストレーションビデオを1回見て動作を確認した後，「On Your Own」ガイド中にその動作を5回行うというものであった

パフォーマンス（図9）は，首，手，肘，膝，足の各関節を用いて，空間と時間を合わせたユーザーのスケルトンとターゲットのスケルトンの間のRMSEを計算することで測定

https://scrapbox.io/files/60d41d6186f16e0022292b84.png

https://scrapbox.io/files/60d41d648dcf530022972df7.png

https://scrapbox.io/files/60d41c7d99a36e00221f7c4a.png

LMA

hr.icon

１記事あたりの文量が多いとページが重くなったので，各論文のページに内容を移しました

hr.icon

ダンスにおける運動学習に対するバーチャルリアリティのリアルタイムフィードバックの短期的効果について

概要

バーチャルリアリティ（VR）は，実世界の運動技能を教えるための有用なプラットフォームとなるかを調査．スポーツやダンスなどの分野では、この問題はまだ十分に検討されていない．

本研究の目的は，2種類のリアルタイムVRフィードバックが，複雑なダンス動作の学習に及ぼす影響を明らかにすること．

初心者の参加者（n ¼ 30）は、3つの条件のうちの1つで，専門家の動きのデモンストレーションのビデオを観察することと，物理的に練習することの両方で，動作の学習を試みた．

その条件とは

学習者の12個の関節中心位置とエキスパートの動きとの差をリアルタイムにVRでフィードバックするフルフィードバック（FULL-FB），

遠位の4個の関節中心位置（エンドエフェクタ）のみをフィードバックするリダクテッドフィードバック（REDUCED-FB），

学習時にリアルタイムのVRフィードバックを行わないノーフィードバック（NOFB）である．

参加者の運動データは，運動学習セッションの前，直後，および24時間後に収集された．

運動誤差は，各学習者の動きと専門家の実演した動きとの間の特定の関節における可動域の差として算出した．

また，主成分分析を用いて，時間経過による次元の変化を調べた結果，「REDUCED-FB」条件は，他の条件に比べて運動学習において有利であることがわかった．

これらの結果は，VRが実世界の運動技能を教えるための有用なプラットフォームとして利用できることを示しており，学習者の注意を学習すべき動作の主要な解剖学的特徴に向けることができ，その効果が得られる可能性がある．

背景

ワイヤレス技術，モーションキャプチャーシステム，仮想環境の進歩により，スポーツ関連の運動技能を向上させるためのバーチャルリアリティ（VR）トレーニング環境の開発が数多く試みられている。しかし，直感的に設計されたVRトレーニング環境を使用する際には，注意が必要である．なぜなら，VRトレーニング環境が必ずしも運動学習に役立つとは限らず，また，VRからより自然な環境への運動技能の移行を確実に促進するとは限らないからである（Li, Patoglu, & O'Malley, 2009）．

この問題に対処するために，バーチャルフィクスチャ（Rosenberg, 1993）、シェアードコントロール（Huegel & O'Malley, 2010）、および手足に取り付けられたバイブロモーターなどの触覚フィードバックメカニズム（Tzafestas, Birbas, Koumpouros, & Christopoulos, 2008）など、さまざまな練習要素を操作して、あらかじめ指定された時間制限内に行動を促すようにしている（Drobny & Borchers, 2010）．

しかし，補完的なアプローチとして，学習者が視覚的なデモンストレーションで専門家の動きを観察しながら，リアルタイムのVRフィードバックを操作する方法がある．

リアルタイムVRフィードバックを操作するこれまでの試みの例として，モーションキャプチャーシステムを使用して，学習者のリアルタイム仮想モデル（通常は動く棒人間）などがある．

このモデルを，事前に取得した専門家のパフォーマンスのアバターに重ね合わせ，3DのVR環境で表示する（例：Honjo et al.） この手法の意図は，学習者が望む動作と自分の手足の位置やタイミングのズレを情報としてフィードバックすることにある．

しかし，このような生体運動情報の提示は，学習者がエラー低減のために効果的に解釈することが困難であり，また，単に実演者を観察して真似ることに比べて学習上の利点がない可能性がある（Chua, Daly, Schaaf, & Camill, 2003参照）．

そのため，どのようにして学習者のテクニックをリアルタイムにVRでフィードバックすれば，学習者の運動行動に望ましい，比較的永続的な変化をもたらし，実世界でのパフォーマンスを向上させることができるのか，まだ明らかになっていない．

そこで本研究では，より基礎的な運動学習のアプローチをとり，人間の生物学的な動きの主要な解剖学的特徴を調査することで，リアルタイムのVRフィードバックとして提示された場合に，運動技能の学習を最も促進することができるかどうかを調査する．

この目的のために，ポイントライトディスプレイ（PLD）を使用して学習者にリアルタイムのVRフィードバックを提供する私たちの新しい方法を紹介する．

学習者に動きに関するリアルタイムのVRフィードバックを直感的に表示するためには，まず視覚知覚システムがどのように視野から情報を拾うかを理解する必要がある．

一つの提案は，Scully and Newell (1985)のVisual perception perspective (VPP)である．この考え方は，Gibson (1979) の知覚と行動の直接結合の概念と，Newell (1985) の制約主導型のアプローチに基づいている．ScullyとNewell(1985)は，パフォーマーが実演された動きを観察し，それを再現しようとするとき，特定の重要な解剖学的構成要素間の相対的な動きの情報に注意を払うと予測した．相対的な動きとは、ある体の部位（例えば手首）が他の体の部位（例えば肩）に対して時間と空間を超えて相対的に動くことである。ScullyとNewellは、人間の生物学的な動きが動的なPLDで提示された場合、視覚認識システムはその不変的な特徴に非常に敏感であるという証拠に基づいてる（Johansson, 1973）。

PLDは、モーショントラッキングシステムを用いて、身体の主要な関節に配置された関節中心マーカーの時間的・空間的な位置を検出し、次にこれらのマーカーの絶対的および相対的な動きを、黒の背景に白のドットの形で視覚的に描写するために生成される。PLDは動作の実際のまたは望ましい行動特性、またはパフォーマンスの知識を指定する運動学的情報を表している（Newell, 1991）。よって、学習者が自分の動きに関するリアルタイムのモーションベースのフィードバックをPLD形式で受け取った場合、学習者の視覚認識システムの情報ピックアップ手段にとって直感的な視覚情報が提示されるはずである。

このような視覚情報をリアルタイムVRフィードバックと呼んでいる。このようなアプローチは魅力的だが、著書の知る限り、このようなリアルタイムVRフィードバックが運動学習に与える影響を調べた先行研究はない。

VPPでは、人間の相対的な動きは、観察された動作を再現する際に視覚知覚システムによって同時にピックアップされる重要な変数であると広く述べられている（Scully & Newell, 1985）。

これを踏まえて、最初の実験条件（FULL-FB）では、学習者の主要な12個の関節中心と、練習中の専門家の実演との間の時間的・空間的な差異を、リアルタイムにVRでフィードバックした。

しかし、学習者の視覚認識システムには、課題に関連する情報に選択的に注意を向けるという性質があるため、全身のリアルタイムVRフィードバックの中には、学習者にとってあまり意味のないものも含まれている可能性がある。

したがって、学習者は単に運動形態のグローバルな表現を受け取るのではなく、目標達成に直接関連する特定の重要な解剖学的特徴のみを強調するリアルタイムVRフィードバックを利用することもできるかもしれない（Janelle, Champenoy, & Coombes, 2003参照）。

VPPによると、運動学習の初期段階にある初心者は、自分の行動を導くために、利用可能な多数の情報源の中から1つの知覚情報源を特定するかもしれない（Savelsbergh & van der Kamp, 2000も参照）。このような知覚情報と行動の間の結合の出現は、課題の要求と目標を通して、制約（すなわち、環境的、生物学的、および課題）の相互作用によって誘発されると考えられる（Savelsbergh, van der Kamp, Oudejans, & Scott, 2004; Eaves, Hodges, & Williams, 2008を参照）。

このプロセスは知覚の教育(Gibson, 1979)と呼ばれ、学習者は観察された動きの中で行動を特定する重要な側面に知覚を徐々に集中させ、関連性の低い非特定の側面にはあまり注意を払わないようになる(Jacobs & Michaels, 2002)。

初期の研究では、観察学習を制約する主要な視覚的知覚変数を決定するために、ディスプレイから特定の視覚的特徴を取り除くことの効果を検討した。ScullyとCarnegie(1998)は、PLDのエンドエフェクタの位置、すなわちつま先と足首の位置からマーカーを取り除くと、複雑なダンス動作の観察学習が阻害されることを示した。

この結果は、彼らの課題では、遠位の特徴（手首や足首など）が他の運動変数よりも、学習すべき動作を知覚するのに適していたことを示している（Hodges, Williams, Hayes, & Breslin, 2007）。

重要なのは、Scully and Carnegie (1998)の実験課題では、これらの遠位特徴は近位特徴（肩や腰など）よりも大きな運動軌跡を移動したことである。他の研究でも、運動目標に関する情報は、相対的な運動や特定の運動セグメントよりも優先されることが示されている（例：Bekkering, Wohlschlager, & Grattis, 2000）。

したがって，ゴールの表現（客観的な基準）と，ゴールを達成するためのエージェント（例えば，特定の肢体）の視覚的表現が，実証された行動戦略以上に学習に影響を与える可能性がある（Bekkering et al.2000参照）。

今回の実験では，学習者の手首と右足首が，他のすべての運動変数よりも大きな運動軌跡をたどるように設計されていた。そのため、手足の末端が最も重要な知覚情報を伝え、動作の学習に最も適した特徴となることが予測された。同様に、これらの遠位の特徴は、学習者にとって目標達成に最も関連する特徴として認識されることも考えられる。

そこで、第2の実験条件（REDUCEDFB）では、手首と足首の位置をリアルタイムにVRでフィードバックするだけにした。

これまでの研究では、観察学習を最小限に抑制する視覚的な知覚情報について検討してきた。

一方、この重要な情報をリアルタイムのVRフィードバックとして補強することの効果については、まだ検討されていない。

↓　ここからがこの論文の本題

本研究では複雑なダンスの動きを真似する際に、自分の相対的な動きと専門家の動きの違いについて、学習者にリアルタイムのVRフィードバックを提供した。

本稿の目的は、このリアルタイムVRフィードバックの2つのバリエーションが運動学習に与える影響を評価することである。

「REDUCED-FB」条件では、学習者が有利になるという仮説が立てられた。この仮説を検証するために，専門家の複雑なダンス動作の運動学的表現に対する参加者の運動学的変数の変化の関数として，学習を評価した。

2つの実験条件（FULL-FBとREDUCED-FB）は、学習者が同じ身体的練習を行い、同じ数のデモンストレーションを観察した。

また、学習中にリアルタイムのVRフィードバックを受けなかったフィードバックなしの条件（NO-FB）とも比較した。

手法

参加者

30名の初心者参加者（男性17名、女性13名、Mage ¼ 21歳、年齢幅 ¼ 20-29歳）がボランティアで参加した。

全員が正視または正視に矯正された視力を持ち、ダンスのトレーニングを受けたことはない。

参加前にインフォームド・コンセントを得て、Teesside大学の研究倫理承認を得て実験を行った。

デモ映像と運動学モデルの作成

プロの女性ダンサーが実験課題のデモンストレーションを行った。

このダンサーは、週に平均5〜6時間のトレーニングを10年間行っており、RAD（Royal Academy of Dance）が認定する最高のグレード（レベル8）を持ち、さらにRADのアドバンス1メジャー試験に合格していた。

再帰反射マーカーは、肩峰突起（肩）、外側上顆（肘）、尺骨スタイロイド（手首）、大転子（股関節）、大腿骨外側顆（膝）、外側踝（足首）、第5中足骨遠位端（足指）など、専門家の体の両側にあるすべての主要な関節センターに設置。

実演された課題は、複雑な全身のダンスシーケンスで、（学習者の視認性を最大限に高めるために）正面から中程度のペースで行われた。ダンサーの近位関節センター（肩と右股関節）は、大きな角運動の範囲を示していたが、これらの関節の位置は運動中比較的安定していた。一方、対応する3つの遠位関節では、その逆の結果となった（表1参照）。プロのダンス指導者は、実験中に動きを学ぶ初心者にとって、この動きが（身体的にも認知的にも）適切な難易度であると判断した。

ダンサーは，この動作を10回繰り返した。時間-空間位置は，100Hzでサンプリングする6台のモーションセンシティブ赤外線カメラ（MX13，Vicon Motion Systems，Oxford，UK）にリンクしたモーションキャプチャーソフトウェア（Nexus 1.2.103，Vicon Motion Systems，Oxford，UK）を実行しているコンピュータを使用して収集した。

タスク実行中に，エキスパートの体の両側にある6つの主要な関節（足首，膝，股関節，肩，肘，手首）の位置データを3D（X，Y，Zの各平面）で追跡した。36個の従属変数のそれぞれについて，経時的な可動域を算出した（つまり，6 2 3）。

これらのデータはWoltringルーチンを用いてフィルタリングされた後，線形補間され，100データポイントに正規化された。

主成分分析（PCA）を用いて，主分析に含める従属変数を決定した．これにより，各従属変数（すなわち，各運動平面における各関節）の各試行における全体的な分散に対する寄与度が特定された。

その結果，ダンサー（エキスパート）の各試行で観察されたグローバルな分散には，3つの成分が少なくとも73％寄与していることが確認された。

構成要素（1）は、X軸では左右の肘、Y軸では左右の肩（48％）

構成要素（2）は、X軸では右の膝、右の股関節（16％）

構成要素（3）は、X軸では右の足首（9％）であった。

これら7つの従属変数を選択して、さらなる分析を行いました。

各従属変数について，エキスパートが行った10回の試行ごとに，角変位のピークの時間的・空間的な位置を特定した．

基準となる動作として選択された1つの試行は，角変位のピーク値の中央値を最も多く含む試行と定義された。

ピーク間のばらつき（SD）は，10回の試行すべてにおいて，各変数で最小となった（表2参照）。

この10回の試行の撮影には，デジタルビデオカメラ（Panasonic NV-MX500B，松下電器産業株式会社，日本）を使用した。

・タスク

運動学的データを収集するために，熟練者の場合と同様に，初心者の参加者の関節中心に再帰反射型のマーカーを設置した．

参加者は5分間のウォーミングアップを行い，課題に関連する筋群をストレッチした後，投影スクリーン（高さ¼3m，幅¼3m）から4mの位置でスタートポジションを取った．

ビデオ編集ソフト「Adobe Premier Pro 1.5」がインストールされたコンピュータに接続されたプロジェクタ（日立CP-X445マルチメディア液晶プロジェクタ、日立製作所）を用いて、専門家の動作を実演した実物大のビデオを3回ずつ繰り返してスクリーンに表示した。

参加者は，最初のブロックの3つのデモンストレーションを見るときには，じっとしていた。

次に，ビデオのデモンストレーションとフィードバックの両方がない状態で，参加者に動作を3回再現してもらうプレテストで運動データを採取した。

この3回の試行で得られたデータをまとめて「サンプルタイムポイント1」と呼ぶことにした。

学習期間は，疲労の影響を最小限にするため，ブロック間に2分間の休息時間を挟み，3回の動作を繰り返す5つのブロックで構成された。

練習は，事前に録音された専門家のデモンストレーションと時間的・空間的に同期した動作を行うことが求められるため，外部からのペースで行われた（図1参照）。

サンプルタイムポイント1と同じ運動データのサンプリング条件を，学習終了時（サンプルタイムポイント2）と24時間後の保持テスト（サンプルタイムポイント3）で再現した。参加者は，テスト前に行ったウォームアップをリテンションテストの直前にも行った。また、サンプルタイムポイント3の前と中では、デモンストレーションやリアルタイムのVRフィードバックを観察しなかった。

このように，1回のトレーニングセッションを行った後に24時間の保持テストを行うというプロトコルは，スポーツ科学／運動学習に関する他の実験と一致している。これらの実験では，同様に，行動観察と身体的練習の短期的な運動学習への効果が検証されている（Al- Aboodら，2001；Breslinら，2005；Breslinら，2006参照）。

・VRによるリアルタイム・フィードバック

参加者は，学習中に得られる視覚情報の性質のみが異なる3つの学習条件のいずれかに無作為に割り当てられた．

2つのグループは、学習期間中に減少する頻度で、自分の動きに関するリアルタイムのVRフィードバックを受けた（表3参照）。

今回の研究では，参加者は6回の練習試行でフィードバックを受けた。

これにより，初日の21回の練習試行に対するフィードバック頻度は29％となり，動作の開始時には頻度が薄れて表示された。

リアルタイムのVRフィードバックには，2台のプロジェクタを使用した。1台目は、専門家が事前に撮影したデモ映像を、参加者の4m前の大画面に投影した。2台目のプロジェクターは、あらかじめ録画しておいたデモ映像と同じ位置にあるスクリーンに、2枚目の映像を重ねて投影した。

2枚目の画像は，参加者の白い関節中心マーカーだけが描かれたリアルタイム・ダイナミックPLDである。このPLDは、モーションキャプチャーソフトウェアを起動したコンピュータと6台のモーションセンサーカメラを連動させて作成した。このシステムは、被験者の関節中心に選択的に配置された反射マーカの3次元位置を検出するのに十分な感度を備えていた。

参加者がスタートポジションにいる間に、Viconの簡単な表示オプションを使ってPLDの寸法が変換され、PLDの下にはっきりと見えるように、事前に録画されたビデオの専門家の体の寸法と正確に一致するようになっている。

この2つの映像が1つのディスプレイとなり、学習者にリアルタイムのVRフィードバックを提供することができた。

学習者は、自分の時間的・空間的な体の位置（PLDの白関節中心の位置）と、事前に録画された映像の中の専門家のアクションとの間の視覚的な不一致に、リアルタイムで注意を払うことができる（図1参照）。

練習時にリアルタイムで表示される関節中心マーカーの量は、実験条件を達成するために操作された。

「FULL-FB」条件の学習者は，練習時に12個（2 6個）の関節中心マーカーをリアルタイムでVRフィードバックした。これは、足首、膝、腰、肩、肘、手首の体の両側に配置されたものである。

「REDUCED-FB」条件の学習者は、手首と足首の4つの関節中心部のみにリアルタイムのVRフィードバックを受けた。

「NO-FB」条件の学習者は、他の2つのグループと同様の手順を行ったが、関節マーカー情報の拡張フィードバックは受けなかった。

・キネマティック・データ

関係性の特性

2つの肢体の間の相関の度合いを学習の関数として評価することは、「特に人間の動きに適した」分析手法である(Mullineaux et al., 2001, p. 752; see also Brick & Boker, 2011)。

そこで，本分析で採用した7つの従属変数（2.2節参照）を用いて，専門家のデータの関節ペアリングの組み合わせごとに，タイムラグがゼロの相互相関係数を算出し，Fisher zスコアに変換した．

Franzblau (1958)によると，同じ方向（正の相関）または異なる方向（負の相関）に同時に動く高結合の関節角度は，0.8～1の相関係数値で特徴づけられた。専門家のデータでは、7つの関節のペアが高い相関関係（正の相関関係）を持っていることが確認された（表4参照）。

これらのペアの中の線形関係を，各参加者について計算した。これは，各参加者について，1つのサンプル時間内に行われた3回の試行から，各関節ペアの個々の平均フィッシャーzスコアを計算することによって達成された。

誤差は、個人の平均スコアと専門家のスコアの差として定義した。次に，3つのサンプル時点での各関節ペアについて，グループ平均誤差スコアを算出した。

絶対的な特性

各関節の貢献度を評価するために、7つの従属変数すべての可動域を経時的に調べた。これにより、学習期間中の専門家の基準動作と学習者の動作との間の連続的、時間的、ピーク時の角度変位の違いを詳細に把握することができた。

連続的な誤差

参加者は各サンプル時点で3回の動作試行を行った。

この3回の試行から各サンプル時点の各関節角度について平均動作トレースを算出した。

各試行の継続時間を通して、各個人の平均トレースと専門家の時間-空間的な動きのパターンとの間の絶対的な差として定義され、100データポイントで正規化された。これは、95％信頼区間（95％CI）を用いて計算した。

次に，各サンプル時点での各関節角度の個人平均値からグループ平均誤差スコアを算出した。この協調性の指標は、一定の誤差（参加者の平均パターンとゴールパターンの平均偏差）と参加者内の変動の両方に敏感な、参加者内の変動の指標である。

ピーク角の平均タイミング誤差(%)

各試行の長さを100データポイントに正規化することで，各関節のピーク角のタイミングを特定し，動作に要した総時間に対するパーセンテージで表すことができた。

各サンプルの時点で各参加者が行った3回の試行について，個人の平均タイミングスコアを算出した。

誤差は，個人の平均スコアと専門家のピーク角のタイミングとの差として算出した（表2参照）。

次に，各サンプル時点での各従属変数の個人平均値からグループ平均タイミング誤差を算出した。この方法は、Scully and Carnegie (1998)が採用した。

ピーク角での平均角変位

ピーク角変位の振幅は、各参加者の運動データの中に位置していた。

各従属変数において，各参加者の各サンプル時点での3回の試行にわたって，個々の平均スコアを計算した。

これらの個人の平均スコアを専門家のデータと比較し、7つの従属変数のそれぞれについて、3つのサンプル時点でのグループ平均誤差スコアを算出した。

標準偏差

標準偏差は、上記の3つの誤差測定に関わる各位置データについて個別に計算された。

この指標は、試行間の動作パターンの安定性のレベルを示すものであった。

・統計解析

サンプル時点1（すなわち、練習前）のタスクにおける3つのグループの初期能力レベルが同等であることは、各従属変数について実施した片道ANOVAの結果が有意ではないことから確認された。

次に，すべての従属変数について，グループと時間を2つの要因とした3つの混合測定ANOVAを実施した。

すべての分析は評価され，必要に応じて Greenhouse-Geisser 補正を用いて球形性を調整した．

効果量は，各ANOVAについて部分的二乗（gp 2）値を用いて算出した。

主効果および交互作用に関与する2つの平均値間の比較については，Tukey HSD法を用いて，ボンフェローニ調整済みのアルファレベルを0.008とした。

結果

・関係性の特性

7つのペア関節のフィッシャーzスコアのグループ平均誤差について行った分散分析では、以下の4つのペアについて時間の主効果が見られた：

右股関節から左肘 F(2,54) ¼ 17. 38, p¼ 0, gp 2 ¼ 0.39,

右股関節から右肘 F(2,54) ¼ 15.3, p¼ 0, gp 2 ¼ 0.36,

右膝から左肘 F(2,54) ¼ 14.34, p¼ 0, gp 2 ¼ 0.35,

右膝から右肘 F(2,54) ¼ 17.15, p¼ 0, gp 2 ¼ 3.9.

事後解析の結果、サンプル時点1と2の間に有意差が見られた。

また、REDUCED-FB条件（右腰から左肘、右腰から右肘、右膝から左肘、右膝から右肘）、FULL-FB条件（右腰から右肘、右膝から左肘、右膝から右肘）、NO-FB条件（右膝から右肘）では、サンプル時点1と3の間で有意な差があった。

グループの主効果はなかった．また、グループ時間の相互作用もなかった。

しかし、表5を見ると、REDUCED-FB条件では、FULL-FB条件（n ¼ 2）とNO-FB条件（n ¼ 1）に比べて、結合度が低いまたは中程度から高いレベルへの変化が多かった（n ¼ 3）。

また、REDUCED-FB条件では、FULL-FB条件（n ¼ 1）よりも低結合から中結合への変化が多かった（n ¼ 2）が、NO-FB条件では変化がなかった（n ¼ 3）。

・絶対特性

各関節の可動域の誤差を調べた。

分散分析の結果，時間に対する多数の有意な主効果とグループ時間の相互作用が確認された（表6参照）。

これらの効果をさらに検討するために行った事後t検定の結果では、特に断りのない限り，時間に関する主効果はすべて，サンプル時点1と2の違いによるものであった。グループに対する主効果は確認されなかった。

・連続誤差

左肘における有意な群間時間相互作用を検証するための事後検定では、REDUCED-FB群のみがサンプル時点1と2の間で有意な改善を示した。

また、このグループはFULL-FBグループよりも保持力が有意に優れていた（図3参照）。

右肘のデータにも同様の傾向が見られたが、この知見は有意ではなかった。

右足首のデータでは、時間に対する主効果を事後分析したところ、サンプルの時点1と3で改善が見られた。

さらに事後検定を行ったところ、この変数の相互作用効果は、REDUCED-FB群とFULL-FB群の両方において、サンプル時点1と3でのエラースコアの間に有意な差があったことによるもので、NO-FB群には見られなかった（図4参照）。

・平均連続誤差の標準偏差

左肘の群間時間相互作用を検証するための事後検定では、REDUCED-FB群のみがサンプル時点1と2の間で有意な改善を示し、サンプル時点3でもその効果が維持された。

しかし、残りのグループは、翌日の保持テストで、サンプル時点1のパフォーマンスと有意に異なるパフォーマンスレベルを達成できなかった（図5参照）。

ピーク角の平均タイミング誤差

右股関節角度のピークのタイミングの誤りについて、グループ時間の交互作用のポストホック分析を行ったところ、サンプル時点1とサンプル時点3を比較した場合、REDUCED-FB条件は誤りを有意に減少させることがわかった（図6参照）。

さらに、REDUCED-FB群は、NO-FB群に比べて保持時の誤差が有意に少なかった。

平均タイミング誤差の標準偏差

ポストホック分析の結果、左肩のグループ時間交互作用は、サンプル時点1と2でREDUCED-FBグループだけが改善したことによるものであることがわかった。

FULL-FB条件、NO-FB条件ともに、実験期間中、左肩関節の平均臨界タイミング誤差のSDを有意に減少させることはできなかった（図7参照）。

考察 （ここに大切なことがほとんどまとめられている）

本研究の目的は，2種類のリアルタイムVRフィードバックが運動学習に与える影響を，フィードバックを受けない場合と比較して明らかにすることであった．

参加者は、

・12個の関節中心の時間的・空間的位置に関するリアルタイムVRフィードバックを受けて（FULL-FB）

・4個のエンドエフェクタの時間的・空間的位置に関するリアルタイムVRフィードバックを受けて（REDUCED-FB）

・リアルタイムVRフィードバックを受けないで（NO-FB）、

（これらのいづれかで）

複雑なダンス動作のデモンストレーションを同時に観察し、その再現を試みた。

参加者の運動変数の変化を、専門家であるデモンストレーターの運動表現と比較した。

REDUCED-FB条件は，学習者にとって有利な条件であるという仮説が立てられた。

すべてのグループで，練習中に動作形態の様々な改善が見られた。

これらの改善はほとんど維持された。しかし，REDUCED-FB条件では，特定の主要な関節間の線形結合の度合いにおいて，必要な変化がより多く見られた。

これは、他の条件に比べて、低または中程度の結合度から高レベルの結合度への変化をより多く達成したことになる。

さらに、グループ時間の相互作用により、絶対的な可動域の5つの異なる測定値において、「REDUCED-FB」条件に有意な学習効果があることが確認された。

これらの優位性は、左肘と右足首の平均連続誤差、左肘のこの誤差のSD、右股関節の臨界角のピークのタイミング、左肩のこの誤差のSDであった。

一方、FULL-FB条件では、右足関節の平均連続誤差が練習後に改善した場合、学習者にとって1つの利点しか得られなかったが、REDUCED-FB条件でも同様の現象が発生し、NOFB条件では発生しなかった。

これらの結果は、運動学に関するリアルタイムのVRフィードバックが、複雑な実世界の運動スキルの運動学習に有益であるという見解を支持するものであり、特にエンドエフェクタの位置間の時間的・空間的な不一致が強調される場合に有効である。

Scully and Carnegie (1998)は、デモンストレーションの中で、特定の解剖学的特徴が他のものよりも、学習すべき動作を知覚するのに有用であることを強調した。

生態心理学の観点から、Savelsbergh and van der Kamp (2000)は、これらの重要な知覚情報源は、課題、生物、環境に固有の制約が相互に作用することで生じる課題関連の知覚-動作結合に基づいて、学習者によって選択されるのではないかと予測している（Newell, 1991参照）。

Scully and Carnegie (1998)は、PLDからエンドエフェクターを取り除くと観察学習に悪影響を及ぼすことを示した。これは、これらの領域が学習者にとって、学習すべき動作のより目標に関連した知覚的に顕著な特徴である可能性を示唆している。

これは、これらの特徴がより大きな運動軌跡をたどるためであると考えられる（Hodges et al.2007）。

本実験では、この点で類似した課題を採用した。今回の実験では、これと同様の課題を採用したので、エンドエフェクタの周囲の知覚配列も同様に豊富な情報を持つものと予測した。

今回の実験では、エンドエフェクタを取り巻く知覚配列が同様に豊富であると予測した。その結果、リアルタイムのVRフィードバックを提供するという我々の斬新なアプローチによって、知覚と行動のカップリング（Gibson, 1979）の教育が促進されることが初めて示され、運動学習に有益な変化が見られた。

この効果は、フィードバックに内在する情報が、学習者の行動の主要な特徴と専門家の行動との間の空間的・時間的な差異を視覚的に明確に表現したためであると考えている。

1つの可能性として、人間の視覚知覚システムは、PLDで提示された人間の生物学的な動きに非常に敏感であるため（Johannson, 1973参照）、我々のリアルタイムVRフィードバックは、タスクに関連した知覚と行動の結合を開発するために深く直感的なモードで、時間的-空間的な動きの視覚的表現を提供した。

このフィードバックにより、学習者は修正動作に必要な情報を直感的かつ効率的に得ることができたと考えられる。

REDUCED-FB条件で運動学習が有利になった理由はいくつか考えられる。

よりタスクに関連した特徴に一点集中することで、学習者が動作のあまり重要でない側面に集中するのを弱めたと考える．

FULL-FB条件では，REDUCED-FB条件よりも8個多くの関節中心の時間的・空間的情報を提供した。

このようにリアルタイムのVRフィードバックの量が多いことで、学習者が多くの利用可能な情報源の中から課題に関連する特徴を識別することが困難になっている可能性がある。もしそうであれば、この結果は、学習の初期段階で情報過多が生じる可能性を示唆している、四肢内および四肢間の協調性の獲得に関するこれまでの研究を裏付けるものとなるかもしれない。

もちろん、これらの2つの説明は、参加者の学習段階を考慮する必要がある。

私たちは特に、複雑なダンスの動きの学習を、短いトレーニング期間と保持期間で調べることにした（Al-Abodら、2001；Breslinら、2005；Breslinら、2006参照）。

これにより、リアルタイムのVRフィードバックが運動学習に与える短期的な効果を調べることができた。

私たちの動機は、VPPの予測が運動学習の初期段階の学習者に特に関連している。

しかし、今回の結果は、運動学習のさまざまな段階でこの発達上の優位性を維持するためのリアルタイムVRフィードバック操作の潜在的な役割について、さらなる疑問を引き起こしている。

今後の研究では、より長期間の練習を行った場合の運動学習に対する「REDUCED-FB」条件の効果を調べることを提案する。

この場合，学習の初期段階で遭遇する可能性のある情報の負担は，学習が進むにつれて軽減されると予想される。

同様に、学習者の視覚的な情報検索戦略は、学習の機能として進化する可能性が高く、より微妙で洗練された技術特性を検出する方向に向かうかもしれない。

そうなると、情報量の多い領域として徐々に現れる様々な解剖学的特徴を予測することが難しくなる可能性がある。

このように、VRを使って運動学習を指導しようとする専門家は、指導したいと考えている特定の技術について、包括的で洞察力に富んだ専門的な知識を持っていなければならない。

これにより、リアルタイムのVRフィードバックを提供する解剖学的特徴を体系的に正当化することができ、また、学習のどの段階でこれらを提供したり、省略したりすることができるようになる。

まとめ

バーチャルリアリティ（VR）は，実世界の運動技能を教えるための有用なプラットフォームとなるかを調査．スポーツやダンスなどの分野では、この問題はまだ十分に検討されていない．

本研究の目的は，2種類のリアルタイムVRフィードバックが，複雑なダンス動作の学習に及ぼす影響を明らかにすること．

初心者の参加者（n ¼ 30）は、3つの条件のうちの1つで，専門家の動きのデモンストレーションのビデオを観察することと，物理的に練習することの両方で，動作の学習を試みた．

その条件とは

学習者の12個の関節中心位置とエキスパートの動きとの差をリアルタイムにVRでフィードバックするフルフィードバック（FULL-FB），

遠位の4個の関節中心位置（エンドエフェクタ）のみをフィードバックするリダクテッドフィードバック（REDUCED-FB），

学習時にリアルタイムのVRフィードバックを行わないノーフィードバック（NOFB）である．

参加者の運動データは，運動学習セッションの前，直後，および24時間後に収集された．

運動誤差は，各学習者の動きと専門家の実演した動きとの間の特定の関節における可動域の差として算出した．

また，主成分分析を用いて，時間経過による次元の変化を調べた結果，「REDUCED-FB」条件は，他の条件に比べて運動学習において有利であることがわかった．

これらの結果は，VRが実世界の運動技能を教えるための有用なプラットフォームとして利用できることを示しており，学習者の注意を学習すべき動作の主要な解剖学的特徴に向けることができ，その効果が得られる可能性がある．

この論文の主な貢献は、リアルタイムのVRフィードバックを提供する効果的かつ直感的な方法を示すという新しいガイドを作ること

プロトコルは、学習者の経験の忠実性と生態学的妥当性を高めるために膨大な時間、労力、資源が費やされている既存のVRトレーニング環境とは全く対照的であり、リアルタイムのVRフィードバックを増やすよりも減らす方が、運動学習に大きな効果があるという点で、我々の発見はやや直感に反するものであるとも考えられる。

結果を受けて、VRトレーニング環境における学習者への運動情報の提示は、

（a）視覚認識システムの情報収集手段として直感的に理解できる形式で提示されているか、

（b）情報量と内容がタスクの要求と学習者の段階の両方に適しているか、

という観点から、徹底的に吟味されるべきである。

将来的には、同様のトレーニング環境を用いて、学習者のモーションデータを取得し、あらかじめ記録された実演家のキネマティクスとオンラインで比較することができるようになる。この方法は、エラーの許容範囲内であれば、やる気を起こさせるようなクラウドノイズなど、コンピュータが生成するエラーベースのフィードバックを補足するために使用できる。

今回の結果は、VRが実世界の運動技能を教えるためのプラットフォームとして効果的に使用できることを明確に示すものである。

手法

実験

hr.icon

その他見つけてきたもの

サーベイ論文

Virtual Avator

モーションのスコアリング手法についていくつか言及している

評価やってない

https://scrapbox.io/files/60d2cf0eed4ae80023274f5c.png

interactive training

(1) motion demonstration through representing a stored pre-recorded motion captured movement of an expert from a database, usually using a rendered avatar,

(2) the student is asked to imitate the ideal movement,

(3) the student is motion captured and her movement is compared with the ideal one in the database, and finally

(4) the student is provided with a score value as feedback.

Computer Sciences, Social-Informatics and Telecommunications Engineering), 7.

157–170.

ACM, 659–662.

virtual teacher

International Symposium on Multimedia (ISM’14). IEEE, 159–166.

no teacher

There is no demonstration by a virtual teacher and the students are asked to perform a movement of their own choice. Then their captured motion is being processed with a motion recognition algorithm and compared with the corresponding movements, from a movement database. Therefore, the workflow of these interactive systems consists of motion capture of the student, motion capture of the teacher, motion recognition algorithm, retrieval from the motion database, motion comparison algorithm and feedback.

of the Conference on Human Factors in Computing Systems (CHI’12). ACM, 1619–1624.

Advanced Visual Interfaces. ACM, 27.

the 3rd International Symposium on Movement and Computing. ACM, 43.

SIGGRAPH Asia 2015 Symposium on Education. ACM, 6.

International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct. ACM, 973–976.

Computing Systems. ACM, 1629–1636.

Computer Sciences, Social-Informatics and Telecommunications Engineering), 7.

REFERENCES

Fraser Anderson, Tovi Grossman, Justin Matejka, and George Fitzmaurice. 2013.

Proceedings of the 26th Annual ACM Symposium on User Interface Software and

Technology, UIST ’13. 311–320.

Hector Camarillo-Abad, Alfredo S nchez, Oleg Starostenko, and Maria Sandoval

H ctor M. Camarillo-Abad, Mar a Gabriela Sandoval, and J. Alfredo S nchez. 2018.

7th Mexican Conference on Human-Computer Interaction, MexIHC ’18. Article 4,

8 pages.

Jacky Chan, Howard Leung, Jeff Tang, and Taku Komura. 2011.

Transactions on Learning Technologies 4, 2 (2011), 187–195.

Minoru Fujimoto, Tsutomu Terada, and Masahiko Tsukamoto. 2012.

of the 5th International Conference on Advances in Computer-Human Interactions,

ACHI ’12. 309–314.

Tobias Gro hauser, Bettina Bl sing, Corinna Spieth, and Thomas Hermann. 2012.

(2012), 580–589.

Nomura, Kazuhisa Sakai, Mizuo Koizumi, and Tatsuya Oconogi. 2008.

Integration 1, 1 (2008), 74–80.

Dong, Bruce Elder, and Ling Guan. 2015.

Journal of ACM Transactions on Intelligent Systems and Technology 6, 2, Article

23 (2015), 37 pages.

Interfaces 14 (2020), 167–186.

Zoe Marquardt, Jo o Beira, Natalia Em, Isabel Paiva, and Sebastian Kox. 2012.

of the 2012 Conference on Human Factors in Computing Systems, CHI EA

’12. 1619–1624.

Luis Molina-Tanco, Carmen Garc a-Berdon s, and Arcadio Reyes-Lecuona. 2017.

Proceedings of the 4th International Conference on Movement Computing, MOCO

’17. Article 9, 6 pages.

Akio Nakamura, Sou Tabata, Tomoya Ueda, Shinichiro Kiyofuji, and Yoshinori

Intelligent Robots and Systems, IROS ’05. 3075–3080.

Akio Nakamura, Sou Tabata, Tomoya Ueda, Shinichiro Kiyofuji, and Yoshinori

In Extended Abstracts Proceedings of the 2005 Conference on Human Factors in

Computing Systems, CHI EA ’05. 1685—-1688.

Georgios Tsampounaris, Katerina El Raheb, Vivi Katifori, and Yannis Ioannidis.

2016.

In Proceedings of the 20th Pan-Hellenic Conference on Informatics, PCI ’16. Article

76, 6 pages.

of the PRESENCE: Virtual and Augmented Reality 11, 3 (2002), 304–323.