Vision-sharing system for android avatars to enable remote eye contact

遠隔地にいる人と対面のような自然なアイコンタクトを実現するには？

https://scrapbox.io/files/6704eaef5e3df7001d5e9812.jpg

アンドロイドアバターを介したアイコンタクトを可能にする視覚共有システムのコンセプトを提案

人間の眼球に近い外観を持つ，アンドロイドアバターのための広角カメラ一体型眼球を開発

提案システムおよび開発した眼球を実際のアンドロイドアバターに実装

アンドロイドアバターを操作し，指定された箇所を注視する被験者実験により，実装された提案システムの精度を確認

アンドロイドアバターを介して2人1組でアイコンタクトを行う被験者実験により，提案システムがアイコンタクトの難易度に及ぼす影響を調査

Maintaining eye contact is a fundamental aspect of non-verbal communication, yet current remote communication tools, such as video calls, struggle to replicate the natural eye contact experienced in face-to-face interactions. This study presents a cutting-edge vision-sharing system for android avatars that enables remote eye contact by synchronizing the eye movements of the operator and the avatar. Our innovative system features an eyeball integrated with a wide-angle lens camera, meticulously designed to mimic human eyes in both appearance and functionality. This technology is seamlessly integrated into android avatars, enabling operators to perceive the avatar's surroundings as if physically present. It provides a stable and immersive visual experience through a head-mounted display synchronized with the avatar’s gaze direction. Through rigorous experimental evaluations, we demonstrated the system's ability to faithfully replicate the operator's perspective through the avatar, making eye contact more intuitive and effortless compared with conventional methods. Subjective assessments further validated the system's capacity to reduce operational workload and enhance user experience. These compelling findings underscore the potential of our vision-sharing system to elevate the realism and efficacy of remote communication using android avatars.

アイコンタクトは日常生活において重要な非言語コミュニケーションの一種だが，ビデオ通話などの既存の遠隔コミュニケーションツールでは，対面のような自然なアイコンタクトを行うことは困難である．本研究では，アバターの眼球動作を操作者と同期させることで，遠隔でのアイコンタクトを可能にするアンドロイドアバターのための視覚共有システムを提案する．本研究では，人間の眼球の外見と機能を模倣するように設計された広角レンズカメラ一体型眼球を開発し，アンドロイドアバターに統合した．これにより，操作者はアバターの周囲の環境を，その場にいるかのように認識することが可能である．また，ヘッドマウントディスプレイを使用し，アバターの視線方向を操作者と同期することで、操作者に安定的かつ没入感のある視覚体験を提供する．被験者実験を通じて，本システムが従来の方法と比較し，操作者の視線行動をアバターを介して忠実に再現できることが確認された．主観的評価においても，操作負荷の軽減と操作体験の向上が実証された．これらの結果は，アンドロイドアバターを用いた円滑な遠隔コミュニケーションの実現に貢献することが期待される．

table: ROBOMECH Journal

Publication venue ROBOMECH Journal

Paper type Journal Article

Volume Vol. 11, No. 16

Pages 1 － 20

Published date Oct. 5, 2024