Embodied interaction
Embodied interactionの定義
“using one’s physical body while interacting with the surrounding technology”
Rex Hartson and Pardha Pyla. 2019. Generative Design: Ideation, Sketching, and Critiquing. The UX Book (jan 2019), 293–325. (https://doi.org/10).
すなわち，
a) 環境とその中にあるオブジェクトやエージェントの外観，
b) 環境，オブジェクト，ユーザの振る舞い，
という2つの問題がある．
したがって、アバター表現の外観と動作は、これらの仮説の環境における身体的相互作用の過程と結果に影響を与える。
身体の視覚表現とともに運ばれる意味情報は、
社会的認知 23 、
23 Lara Maister, Mel Slater, Maria V. Sanchez-Vives, and Manos Tsakiris. 2015. Changing bodies changes minds: Owning another body affects social cognition. Trends in Cognitive Sciences 19, 1 (2015), 6–12.
物体と環境の知覚処理 33 、
33 Ana Tajadura-Jiménez, Domna Banakou, Nadia Bianchi-Berthouze, and Mel Slater. 2017. Embodiment in a Child-Like Talking Virtual Body Influences Object Size Perception, Self-Identification, and Subsequent Real Speaking. Scientific Reports 7, 1 (2017), 1–12. (https://doi.org/10.1038/s41598-017-)
痛みの知覚 24 、
24 Marta Matamala-Gomez, Birgit Nierula, Tony Donegan, Mel Slater, and Maria V. Sanchez-Vives. 2020. Manipulating the Perceived Shape and Color of a Virtual Limb Can Modulate Pain Responses. Journal of Clinical Medicine 9, 2 (2020), 291. (https://doi.org/10.3390/jcm9020291)
感情状態 10 、
10 Ilias Bergström, Konstantina Kilteni, and Mel Slater. 2016. First-Person Perspective Virtual Body Posture Influences Stress: A Virtual Reality Body Ownership Study. PLoS ONE 11, 2 (2016), 1–21. (https://doi.org/10.1371/journal.pone.0148060)
そしてその後の運動計画 33
に影響を与える。
身体部位の代用として身体外部の物体に対する幻想的な所有権の誘発に加えて、身体部位を失うという幻想的な経験も誘発され、それに対応する神経活動も誘発される。
Kilteniら 20 は、健常者が身体の一部を「失った」経験をすると、勘当された身体の一部に関連する筋肉で皮質脊髄興奮性が低下することを示している。
20 Konstantina Kilteni, Jennifer Grau-Sánchez, Misericordia Veciana De Las Heras, Antoni Rodríguez-Fornells, and Mel Slater. 2016. Decreased corticospinal excitability after the illusion of missing part of the arm. Frontiers in Human Neuroscience 10, APR2016 (2016), 1–12. https://doi.org/10.3389/fnhum.2016.00145 (notion://doi.org/10.3389/fnhum.2016.00145)
逆に、身体の一部が余っているという経験も誘発されうる。
例えば、AR環境において、参加者は第三の腕があるかのような錯覚を経験し、その後、その動きに対する錯覚的な代理権を経験した 31。
31 Nina Rosa, Remco C. Veltkamp, Wolfgang Hurst, T. Nijboer, Carolien Gilbers, and Peter Werkhoven. 2019. The Supernumerary hand illusion in augmented reality. ACM Transactions on Applied Perception 16, 2 (2019). (https://doi.org/10.1145/3341225)
さらに、多感覚フィードバックを同期させることで、何もない空間に対して全身や体の一部を所有する錯覚 15 を引き起こすことができることが示されている。
15 Arvid Guterstam, Zakaryah Abdulkarim, and H. Henrik Ehrsson. 2015. Illusory ownership of an invisible body reduces autonomic and subjective social anxiety responses. Scientific Reports 5 (2015), 1–8. (https://doi.org/10.1038/srep09831)
全身所有の錯覚（BOI）は，
知覚 6,
6 Domna Banakou, Raphaela Groten, and Mel Slater. 2013. Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proceedings of the National Academy of Sciences of the United States of America 110, 31 (2013), 12846–12851. (https://doi.org/10.1073/pnas.1306779110)
認知 7,
7 Domna Banakou, Sameer Kishore, and Mel Slater. 2018. Virtually being Einstein results in an improvement in cognitive task performance and a decrease in age bias. Frontiers in Psychology 9, JUN (2018). (https://doi.org/10.3389/fpsyg.2018.00917)
感情 12,
12 Cristina Gonzalez-Liencres, Luis E. Zapata, Guillermo Iruretagoyena, Sofia Seinfeld, Lorena Perez-Mendez, Jorge Arroyo-Palacios, David Borland, Mel Slater, and Maria V. Sanchez-Vives. 2020. Being the Victim of Intimate Partner Violence in Virtual Reality: First- Versus Third-Person Perspective. Frontiers in Psychology 11, May (2020), 1–13. (https://doi.org/10.3389/fpsyg.2020.00820)
処理に変化をもたらし，
外集団のメンバーに対するポジティブな態度 25,
行動 8, 33 の変化を引き起こすことが示されている 23．
例えば、ある研究 7では、アインシュタインの仮想体を体現した場合、同年代の一般人の仮想体を体現した場合と比較して、認知課題に反映される実行機能の改善が見られ、その改善は自尊心の低い人ほど強くなることが確認されている。
同様の設定で、参加者はフロイトの視点から自分のイメージに近い仮想のそっくりさんアバターと自己対話を行った27。
フロイト）カウンセラーを体現した人は、自分によく似たカウンセラーを体現した人と比較して、気分の改善を示した。
その改善は、視覚-運動同期条件において最も大きかった。
別の研究では、バーチャル・ボディに映し出されたVBの表情が、参加者の感情状態（怒り、幸せ、中立）を変調させることが示されている18。
仮想身体の動きの時間的表現は、体性感覚や運動領 域における肉体の知覚の仕方に影響を与えることができ る。
ある研究では，時空間的不整合によって自分の身体の 視覚的知覚を変化させると，身体感覚の感じ方が変化する ことが示されている19．
ダンスパフォーマンスの研究では，全身モーションキャプチャシステムを開発し，ヘッドマウントディスプレイで身体をわずかに変形させた状態で投影したダンサーの過去と未来の身体の動きを予測生成している．
25-100ms先の未来に生成された身体イメージは、体重が軽くなったような感覚を惹起した。
また、別の研究では、身体の動きの時間的表現は、自分自身の身体や周囲の空間との関係だけでなく、他者の身体との関係や関わり方にも影響を与えることが示されています。
Slaterは、同期的な動きが個人間の社会的な親近感 を生み出すのに役立つことを示している34。
彼らの研究は、共同作業環境において社会的相互作用と親密さを促進するために、身体の動きがどのように合図を伝えることができるかに焦点を当てているので、これは特に遠隔コラボレーション設定に身体性を結びつけることに関連しています。
HCIにおける最近の文献は、創造的な経験設計のためにダンスパフォーマンスを取り入れる「第3の波」のシフトを観察し、身体的相互作用のトピックに関するダンスとテクノロジーの相互関係から学ぶことを結びつけている 11。
この新しい学際的な統合において，HCIはインタラクティブなダンスパフォーマンスのための新しいデザインソリューションを提供するだけでなく，アバターや動きのデザインの観点からダンスの文献や実践から利益を得ることができるのである．
8 Domna Banakou and Mel Slater. 2017. Embodiment in a virtual body that speaks produces agency over the speaking but does not necessarily
influence subsequent real speaking. Scientific Reports 7, 1 (2017), 1–10. (https://doi.org/10.1038/s41598-017-14620-5)
9 Yoav Bergner, Shiri Mund, Ofer Chen, and Willie Payne. 2019. First steps in dance data science: Educational design. ACM International Conference
Proceeding Series (oct 2019). (https://doi.org/10.1145/3347122.3347137)
11 Miguel Bruns, Stijn Ossevoort, and Marianne Graves Petersen. 2021. Expressivity in interaction: A framework for design. Conference on Human
Factors in Computing Systems - Proceedings (may 2021). (https://doi.org/10.1145/3411764.3445231)
13 Carla F. Griggio and Mario Romero. 2015. Canvas dance: An interactive dance visualization for large-group interaction. Conference on Human
Factors in Computing Systems - Proceedings 18 (apr 2015), 379–382. (https://doi.org/10.1145/2702613.2725453)
14 Simon Gunkel, Hans Stokking, Martin Prins, Omar Niamut, Ernestasia Siahaan, and Pablo Cesar. 2018. Experiencing virtual reality together: Social
VR use case study. TVX 2018 - Proceedings of the 2018 ACM International Conference on Interactive Experiences for TV and Online Video (jun 2018),
233–238. (https://doi.org/10.1145/3210825.3213566)
16 Arvid Guterstam, Giovanni Gentile, and H. Henrik Ehrsson. 2013. The invisible hand illusion: Multisensory integration leads to the embodiment of
a discrete volume of empty space. Journal of Cognitive Neuroscience 25, 7 (2013), 1078–1099. (https://doi.org/10.1162/jocn_a_00393)
1016/B978-0-12-805342-3.00014-X
18 Joohee Jun, Myeongul Jung, So Yeon Kim, and Kwanguk Kim. 2018. Full-body ownership illusion can change our emotion. Conference on Human
Factors in Computing Systems - Proceedings 2018-April (2018), 1–11. (https://doi.org/10.1145/3173574.3174175)
19 Shunichi Kasahara, Keina Konno, Richi Owaki, Tsubasa Nishi, Akiko Takeshita, Takayuki Ito, Shoko Kasuga, and Junichi Ushiba. 2017. Malleable
embodiment: Changing sense of embodiment by spatial-temporal deformation of virtual human body. Conference on Human Factors in Computing
Systems - Proceedings 2017-May (2017), 6438–6448. (https://doi.org/10.1145/3025453.3025962)
21 Andrey Krekhov, Sebastian Cmentowski, and Jens Kruger. 2019. The illusion of animal body ownership and its potential for virtual reality games.
IEEE Conference on Computatonal Intelligence and Games, CIG 2019-August (aug 2019). (https://doi.org/10.1109/CIG.2019.8848005) arXiv:1907.05220
22 Matthew Kyan, Guoyu Sun, Haiyan Li, Ling Zhong, Paisarn Muneesawang, Nan Dong, Bruce Elder, and Ling Guan. 2015. An Approach to Ballet
Dance Training through MS Kinect and Visualization in a CAVE Virtual Reality Environment. ACM Transactions on Intelligent Systems and
Technology (TIST) 6, 2 (mar 2015). (https://doi.org/10.1145/2735951)
25 Solène Neyret, Anna I. Bellido Rivas, Xavi Navarro, and Mel Slater. 2020. Which BodyWould You Like to Have? The Impact of Embodied Perspective on Body Perception and Body Evaluation in Immersive Virtual Reality. Frontiers in Robotics and AI 7 (2020). (https://doi.org/10.3389/frobt.2020.00031)
26 Leif Oppermann, Clemens Putschli, Constantin Brosda, Oleksandr Lobunets, and Fabien Prioville. 2015. The smartphone project-an augmented dance performance. Conference on Human Factors in Computing Systems - Proceedings 2015-April (apr 2015), 2569–2572. (https://doi.org/10.1145/)
2702123.2702538
27 Sofia Adelaide Osimo, Rodrigo Pizarro, Bernhard Spanlang, and Mel Slater. 2015. Conversations between self and self as Sigmund Freud - A virtual
body ownership paradigm for self counselling. Scientific Reports 5, July (2015), 1–14. (https://doi.org/10.1038/srep13899)
28 Charles B. Owen, Noah Keppers, Laura Dillon, Madeline Levinson, Alison Dobbins, and Matthew Rhodes. 2016. Dancing computer: Computer
literacy though dance. ACM International Conference Proceeding Series (nov 2016), 174–180. (https://doi.org/10.1145/3007120.3007131)
29 Andi Pramana and Trianti Nugraheni. 2019. Students’ Perspectives on the Use of TMS Model in Teaching Dance, Indonesia. ICETT 2019: Proceedings
of the 2019 5th International Conference on Education and Training Technologies, 93–96. (https://doi.org/10.1145/3337682.3337691)
30 Jean Philippe Rivière, Sarah Fdili Alaoui, Baptiste Caramiaux, and Wendy E. Mackay. 2018. How do dancers learn to dance? ACM International
Conference Proceeding Series (jun 2018). (https://doi.org/10.1145/3212721.3212723)
32 Ryo Suzuki, Jaeryoung Lee, and Ognjen Rudovic. 2017. NAO-dance therapy for children with ASD. ACM/IEEE International Conference on
Human-Robot Interaction (mar 2017), 295–296. (https://doi.org/10.1145/3029798.3038354)
09497-3
34 B. Tarr, M. Slater, and E. Cohen. 2018. Synchrony and social connection in immersive Virtual Reality. Scientific Reports 2018 8:1 8, 1 (feb 2018), 1–8.
(https://doi.org/10.1038/s41598-018-21765-4)
35 Georgios Tsampounaris, Katerina El Raheb, Vivi Katifori, and Yannis Ioannidis. 2016. Exploring visualizations in real-time motion capture for dance education. ACM International Conference Proceeding Series (nov 2016). (https://doi.org/10.1145/3003733.3003811)
36 Shuhei Tsuchida, Tsutomu Terada, and Masahiko Tsukamoto. 2016. A dance performance environment in which performers dance with multiple robotic balls. ACM International Conference Proceeding Series 25-27-February-2016 (feb 2016). (https://doi.org/10.1145/2875194.2875219)