12 音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討

https://scrapbox.io/files/6392b4f36b9cb3001db78656.png

発表スライド：https://www.dropbox.com/s/hoso95jhho2nef9/WISS2022_amesaka_slide.pdf?dl=0

スライド内動画：https://www.dropbox.com/s/d955p4mhd06pgmz/WISS2022_movie.mp4?dl=0

要旨：

本研究ではヒアラブルデバイスの音漏れが手と耳介で形成される空間内を反響することに着目し，耳介反響音を測定，解析することで現在の手形状を認識する手法を開発した．提案手法はヒアラブルデバイスにて一般的に搭載されているスピーカと外側マイクで実装できる点でヒアラブルデバイスとの親和性が高い．本研究ではプロトタイプデバイスを用いて， 5種類の手形状のデータを収集した．実験の結果，参加者（５名）ごとの個人分類モデルによる認識精度が平均92.7%（F値）であることを確認した．

論文PDF：https://www.wiss.org/WISS2022Proceedings/data/12.pdf

採録時コメント：https://www.wiss.org/WISS2022Proceedings/data/12.html

ヒアラブルデバイスのためのジェスチャ認識のためにイヤホンからの音漏れに着目した点は査読者全員が新規性を認めているが, 実用性の面や安全性に大きな疑問が残る論文である. 音漏れを用いたジェスチャ認識自体についてはWISSで議論することに価値があると判断し, ショート採択とするのが妥当である.

付録：

実験ではこんな信号を使っています（音量注意）

https://www.dropbox.com/s/zt0yqni0u2sq29e/チャープ信号0-22k%5B音量注意%5D.wav?dl=0

参加者メモ・コメント：

輪ゴム

ヒアラブルデバイス

いまはスピーカー＋マイクのようなヘッドセットが主流

将来、ここに活動量計などが入るかもしれない

そうすると、ボタン操作やタッチ操作では操作が難しくなるかもしれない

耳の周囲（頬とか）をタップするのは結構見かけるようになりましたね (SONY, Xiaomi)、小さなボタン探さなくて良いので楽。

そのため、ジェスチャで操作できるようにしたい

耳を覆っている手が手袋着用しているか素手かも音響特性から判別できたり?池松香.icon

音が吸収されやすい素材などはできる気がします！（手形状の認識に影響しないかも調査しないといけないです）

（外向けの）proximity sensor 使ってるのはありますね

なるほど！