触覚のオンラインデモを作る試み
はじめに
kn1chtと申します。博士課程でHaptics（触覚技術）を中心に研究をしております。 メインで進めているのは風ディスプレイ（Wind Display）という風を提示するデバイスについてですが、それ以外の触覚ネタでもオンラインデモ発表をさせていただく機会が今年は数回あったので、本記事ではそれについてご紹介します。 オンライン学会とDemonstration発表
COVID-19の影響で、2020年から数多くの学会が完全オンライン化しました。直近では、バーチャルリアリティの国際学会VRST2021が大阪に現地会場を設けたり、CG・インタラクティブ技術の国際学会SIGGRAPH Asia 2021が東京国際フォーラムで展示を目指していたりと、対面回帰の動きも出ています。 一方で、新たな変異株の発生により各国が渡航規制を強めるなど、完全に以前と同じ形で学会が開催可能になるには時間がかかりそうです。
ここ2年で、交流はともかく研究発表を伝えるという点ではオンライン学会でも問題ないなと思う方も増えてきたと思います。ただ、Demonstration（デモ）発表はいまだに大きな影響を受けているように感じます。
HCI、バーチャルリアリティ、ハプティクスといった分野の学会では、提案するシステムの実物を持ち寄って動かして見せるデモ発表が極めて有効でした。他方、完全オンライン学会でのデモ発表は、映像でしか情報を伝えることができません。「インタラクティブな発表」という位置づけではあるものの、30秒動画をYouTubeで公開して、当日はちらほらビデオチャットに現れる参加者と会話しただけという方も多いのではないでしょうか。
https://gyazo.com/2e9090b846d04a76f19a5194c99c737b
▲ 7月に行われたWorld Haptics Conference 2021のデモセッション画面
とりわけ、ハプティクス分野では、ほとんどの場合実物を触らないことには効果のほどが体験できません。デモといいつつ動画を見せるだけの発表になってしまうというわけです。
このような制約を乗り越え、参加者が提案をそのまま体験できる本当の意味でのデモ発表を目指す試みをご報告します。
事例1：WebXR Pseudo-haptics
https://www.youtube.com/watch?v=PnGpjr6gyj0
Pseudo-hapticsとは
Pseudo-haptics（疑似触覚）は、ユーザの入力と視覚的な表示のずれによって生起する触覚の錯覚です。 例えば、マウスカーソルの動きが普段より遅いと、抵抗力が大きくなったかのように感じる現象はpseudo-hapticsの一種です。 物理的な触覚提示デバイスがなくても、ユーザに重さや摩擦、凹凸などを知覚させることができます。
https://gyazo.com/7d39c580c4dfa1e5adb370d43ce64f73
Pseudo-hapticsのオンラインデモを復活させる
Pseudo-hapticsには物理的な触覚提示デバイスが不要だと書きました。つまり、対面でデバイスを触ってもらわずともデモができるわけです。このような利点から、ブラウザだけで遊べるpseudo-hapticsのオンラインデモが作られてきました。
どれも面白いのでぜひ……と言いたいところですが、現在では体験が難しいものもあります。なぜなら、PowercursorやVisualHaptics（旧版）はAdobe Flashで実装されているためです。Flashのサポートが終了した2021年以降のブラウザでアクセスしても、表示すらされないのです。
https://gyazo.com/01f7c96475e6af36bf255beebcd5591e
▲ こうなる
幸い、渡邊恵太先生のVisualHapticsはUnity WebGLで再実装されたものが公開されて現在でも体験できます。ただ、秋ごろの筆者はVisualHapticsの復活を知らなかったこともあり、今のWeb標準で動作するPseudo-hapticsのデモを作ることにしました。 WebXRの活用
WebXRは、Webブラウザを通してVRやARを体験できる仕組みのことです。例えば、VRを活用した学会やイベントでよく使われるMozilla Hubsは、ヘッドマウントディスプレイ（HMD）を持っている人ならVRモードに入ってアバターを動かせます。 Pseudo-hapticsは2D画面でも起こるとはいえ、バーチャル空間で自身の手を使って体験すればよりはっきりと実感できることでしょう。HMDを所有している人がかなり増えている2021年なら、お手元のHMDで体験できるオンラインデモが実現できるのでは？ということでWebXR Pseudo-hapticsを公開しました。
https://scrapbox.io/files/61ac5ed1eae3a8001d992485.mp4
動画のように、HMDで「VR」ボタンを押すことでVRモードに入り、バーチャルな手で物を掴む、触るといった動作が可能です。Pseudo-hapticsでは実際の手の位置から表示をずらすことがありますが、HMDで視界が覆われているためずれを意識しづらく、錯覚が起きやすい効果が期待できます。
WebXRのコンテンツを作る方法は色々とありますが、今回採用したのは、UnityからWebXR対応のWebGLビルドを書き出せるDe-Panther/unity-webxr-exportです。HCI・VR分野の方なら慣れている人が多いであろうUnity・C#で開発できるので、ハマりポイントが少ないのが魅力だと思います。 事例2：Hit-stop in VR
筆者が所属する研究室の伴 特任講師らが7月のWorld Haptics Conferenceで発表したデモです。こちらもpseudo-hapticsを応用した研究で、ゲーム等でよくある「ヒットストップ」表現をVRでも実現できるというものです。
https://www.youtube.com/watch?v=E9wWc5XBBxY
こちらもWebXRを活用しており、HMDを使える方ならデモサイトから実際の提示を試せます。さらに、シーン内に配置されたUIからパラメータを変更したり、アンケートに答えたりする機能も用意されています。 https://gyazo.com/4abbf399be08e9850675f8f4b3b5d0e8
▲ Oculus Quest 2でデモを体験している様子
事例3：Tactile Reverse Playback（触覚逆再生）
同じく、7月のWorld Haptics Conferenceで筆者らが発表したデモです。
近年映画などで活用されている逆再生映像ですが、映像や音だけでなく振動も逆再生して手に伝えたらより面白い体験になるのでは……というアイデアから実施しました。
https://www.youtube.com/watch?v=voEbU-3-uZw
任意の信号を振動として提示する振動アクチュエータにはいろいろな種類があり、Vp2シリーズやHaptuatorのように市販されて様々な研究に使われるものもあります。最近では、ビット・トレード・ワンから振動触覚モジュールhapStakが発売され、当初は数日で売り切れるなど話題を呼びました。 また、PlayStation 5のコントローラーであるDualSenseにもhapStakと同じフォスター電機の振動アクチュエータが入っており、PCから音声信号を流すだけで動きます。 触覚逆再生の体験には適切な振動アクチュエータが必要ですが、もし参加者が手元にデバイスを持っていれば映像・音をWebに置いておくだけでオンラインデモが可能です。
HMDと同様に各ご家庭に振動アクチュエータがある……とまでは行かないでしょうが、触覚の研究者ならラボに転がっているかもしれませんし、運良くプレステ5のコントローラがあればそれも使えます。そういうわけで、デモサイトには動画を並べ、「振動デバイスを持っている人はそれを使ってね！」というアナウンスをしました。
https://gyazo.com/5d42214748162835a5fcdc2d430646e2
▲ 触覚逆再生のオンラインデモページ
学会には家から参加している方も多かったので、実際に振動アクチュエータが手元にあった人は少数だったかもしれませんが、ありがたいことに会期中に体験したと報告してくださる方もいらっしゃいました。
また、本発表で参加者投票によるHonorable Mention: Best Video Demonstrationを受賞できました。
触覚のオンラインデモ実現のために
3つの触覚オンラインデモ事例をご紹介しました。これからデモ発表を準備しようという方向けに、Best Practice的なものを抽出してみます。これらの手法が有効かどうかは研究内容による（例えば、デバイスをバリバリ作りました研究の場合はオンラインで体験に持っていくのは難しそう）とは思いますが、ご自身の取り組みに適用できそうなものが見つかりましたら幸いです。
1. 映像や音だけで体験が完結するコンテンツにする
Pseudo-hapticsは手法からして映像や音だけで可能なので、オンラインデモと相性がとてもいいです。できれば、学会の期間中だけでなく末永く公開されていると、授業などでも紹介しやすくなっていいと思います。
2. HMDを持っている人が多そうな場なら、WebXRを活用してみる
WebXRコンテンツの公開は本当に手軽になりましたので、ぜひ活用した発表が増えてほしいです。
VR系の研究ではなくても、作った装置の3Dモデルを公開して、HMDで眺めてもらうという形式もできそうです（単にモデルを公開するだけなら、自前で作らずにMozilla Hubsなどに置いておくのが手軽でしょう）。
バーチャル空間での体験デモは、VRChatやclusterといったサービスでも可能です（WebXRよりできることも多いと思います）。ただ、それらは専用のクライアントやアカウントを用意しなければならず、「面倒だからやめとくか……」と避けられてしまうリスクがあります。URLがあれば体験まですぐに到達できるWeb技術の方が、オンラインデモでは有利だと思います。
※ VRChat等が絶対使えないと言っているわけではなく、バーチャル学会のようにそもそも学会がバーチャル空間で行われているならその中にデモを置いたほうがシームレスでしょう。こうしたケースが今後増えていくと面白いと思います。 3. 特定のデバイスを持っている人なら手元で試せるようにする
HMD所有者向けにWebXR対応させる、振動アクチュエータ所有者向けにビデオを公開するといったことが可能です。デバイスを持っている参加者にとっては、好きな時間帯にゆっくり体験できるので対面よりも体験の質がむしろ高いかもしれません。
他方、デバイスを持たない参加者が悲しくならないように、動画などの基本的なコンテンツを充実させておくのも大事です。
4. 参加者に装置を自作してもらう
これは本記事の例にはありませんでしたが、装置が紙製だったり、3Dプリンタで作れたりする場合は作り方を公開して自作してもらうという方針もあります。
例えば、NTT CS研の横坂氏らが取り組んでいる回転ベルベットハンド錯覚の研究は、厚紙やダンボールに直径8 cmの穴を開けるだけで体験が可能です。数分で自作できるので、数時間のオンライン発表中でも体験可能でした。
https://youtu.be/vqR4CD8xe8w?t=254
もう少し複雑なデバイスでも、Fab施設や自宅で3Dプリンタが使えることを期待してモデルデータを公開するという事例もあります。例えば、Emilie WaiteらがWorld Haptics Conference 2021で発表していた3D Printed Tactile Illusionsは、GitHub上にモデルと作り方が公開され、誰もが触覚錯覚のための器具を自作できることを目指しています。
https://raw.githubusercontent.com/Shared-Reality-Lab/Haptic-Illusions/master/images/teaser.jpg
参考文献
Yusuke Ujitoko and Yuki Ban. Survey of pseudo-haptics: Haptic feedback design and application proposals. IEEE Transactions on Haptics (Early Access), 2021. DOI: 10.1109/TOH.2021.3077619. Keita Watanabe and Michiaki Yasumura. Visualhaptics: Generating haptic sensation using only visual cues. In Proceedings of the ACM ACE ’08, p. 405, 2008. DOI: 10.1145/1501750.1501856. Yuki Ban and Yusuke Ujitoko. Hit-Stop in VR: Combination of Pseudo-haptics and Vibration Enhances Impact Sensation, 2021 IEEE World Haptics Conference (WHC), 2021, pp. 991-996, DOI: 10.1109/WHC49131.2021.9517129. Kenichi Ito, et al. Demonstration of Tactile Reverse Playback: Presenting Temporally Reversed Vibration to Increase Convincingness of Reversed Videos. 2021 IEEE World Haptics Conference (WHC) Interactive Demonstrations. p. 598. Online Conference, July 2021.
Takumi Yokosaka, et al. Feeling illusory textures through a hole: Rotating frame at skin-object interface modifies perceived tactile texture, IEEE Transactions on Haptics (Early Access), 2021. DOI: 10.1109/TOH.2021.3124138. Emilie Waite, et al. 3D Printed Tactile Illusions and Demonstrations, 2021 IEEE World Haptics Conference (WHC), 2021, pp. 353-353, DOI: 10.1109/WHC49131.2021.9517237.