22 スマートウォッチの加速度センサを用いたThumb-to-fingerジェスチャ認識に基づく片手文字入力手法
角田陸(筑波大),志築文太郎(筑波大)
https://scrapbox.io/files/6565c24894e5c7001bced525.png
https://www.wiss.org/WISS2023Proceedings/data/22.mp4
論文:
スライド:
要旨:
スマートウォッチの加速度センサを用いたthumb-to-fingerジェスチャ(親指から他の指へのジェスチャ)認識に基づく片手文字入力手法を示す.本手法では,スマートウォッチを装着した手のthumb-to-fingerジェスチャを用いて文字入力を行う.本手法は画面のタッチを伴わないため,スクリーンオクルージョン問題,およびファットフィンガ問題の発生を回避し,スマートウォッチを装着した手のみを用いた片手入力を可能にする.また本手法は,追加のセンサを用いることなく動作する.
採録時コメント:
不明瞭な点はあるものの,ジェスチャのデザイン,予備評価による適切なジェスチャセットの選定,評価実験と丁寧に書かれており,スマートウォッチ内蔵センサのみを用いたハンドジェスチャの提案として充分採録に値するとすべての査読者に判断されました.
参加者メモ・コメント:
腕が静止した状態での入力が理想的ということで良いのでしょうか hiraki.icon
逆にいうと、静止状態に入るまでにどのぐらいの時間があれば良いでしょうかhiraki.icon
SNSを立ち上げた後などの,静止状態(スマートフォンの画面を見ている状態)から始めることを想定しています.ジェスチャの検知処理もあるため,大きい動きは認識されないという実装になっています.tsunoda.icon
歩行時や乗車時も使える? (加速度センサ的に)
ポケットに手を突っ込んで使うと指の可動距離が変わるので精度が心配という気もしますくらもといたる.icon でもその辺は調査してそう(論文読まなきゃだわ
FTが10回でいいなら毎回学習しても何とかなりそうな気がする…?くらもといたる.icon
ジェスチャ認識に関しては,新しいものがどんどん出ていて,データ収集がほぼいらないという手法もあったりしますtsunoda.icon
歩きながら使いたいyumu.icon
低周波をカットすれば歩くノイズを除去できるので,できるかもしれませんtsunoda.icon
ブラインドジェスチャー入力の訓練が必要そうseiki.icon
と思ったのですが、最終的なジェスチャー数は思ったよりも少なかったですね
キーボードのデザインに関しては,改善点が多いと思っています.覚えやすいものを考えたいですtsunoda.icon
片手だけなので難しいですが,qwertyのパームポジションと連動させるのはいかがでしょう.(いっそ両手にして)ShioMiyafuji.icon
左小指に「qaz」という感じですかね?half-qwerty等と相性がいいかもと思いましたtsunoda.icon
どういうキラーシチュエーションがあるんだろう。例えば片手で料理しながら片手でレシピ検索するとか?伊藤貴之(お茶大).icon
両手が塞がっている状況を想定していますが,片手だけで入力できるなら,両手をわざわざ使わなくなるかなと思っています.そもそも画面のタッチがつらいという問題もありますtsunoda.icon
最近UISTやCHIで流行っているmicrogestureの文脈(周囲にバレずに入力できるなど)にぴったりだと思いました高木健.icon
そういう文脈もあるのですね.腕を下げた状態で完全にアイズフリーなどでできると更に良いですねtsunoda.icon
スマートウォッチの画面直接見なくていいならVRでの文字入力問題も同時に解決できそうkgtkr.icon
VRのバーチャルキーボードは本当に面倒ですよね。。。seiki.icon
アイズフリーでできるので,例えば腕をおろした状態等でも可能かと考えていますtsunoda.icon
事前学習のts2vecにはIMUデータをそのまま入れているんでしょうか, 4000Hzあると周波数で入れても良さそうな気がしましたhiraki.icon
先行研究に倣って,周波数ごとのデータで入れています.tsunoda.icon
ts2vecとどっちが性能出るのか気になります 高木健.icon
今回の実装ではts2vecを用いています.違いはサンプリングレートですが,100Hzや200Hzでも同等かそれ以上の性能が出ている手法も存在するため,4000Hzで認識性能が向上しているということは実はあまりないかもしれませんtsunoda.icon
65%だとだいぶエラーあると思うのですが、逆に入力の数を絞ると90%ぐらいまで行くんでしょうかhiraki.icon
fewshotでユーザー負荷を減らすのはとても良いアプローチと思うのですが、精度が出るのは前提な気がしましたhiraki.icon
すみません、これありましたねhiraki.icon
両手で同時に使うと速くなるかなyumu.icon
著者が強い(平均の倍速入力/エラー率0) seiki.icon
単語予測を使用するならジェスチャ数をもう少し減らせないのですか?礒本俊弥(LINEヤフー株式会社).icon
26文字をn分割にするのが入力しやすい,という観点からもジェスチャ数を決めることができそう(ジェスチャ数が認識精度から決まるのは少し妙な感じがしました)礒本俊弥(LINEヤフー株式会社).icon
確かに,探してみれば先行研究ありそうですね.ありがとうございますtsunoda.icon
記号とか考えると,アルファベットに使用するジェスチャ数を少なくしたいなと思いました礒本俊弥(LINEヤフー株式会社).icon
スマホをつかう代わりくらいで考えていたがスマホがなくていい生活にもできそう
そうできたら良いなと思っています!tsunoda.icon
2本指のみの認識にして、モールス信号として、時間も認識の対象にするのはいかがでしょうか? 小松 認識精度が上がることと、標準化されている方式なので導入への敷居が下がるかなと思いました。
たしかにそうですね.似た方法としてhuffman-encoding(モールス信号の4変数版みたいなもの)というものもあるので,検討してみます!tsunoda.icon
質疑応答:
本手法に慣れすぎると、余計な力が抜けていって認識に必要な加速度が発生しなくなったりしませんでしょうか qurihara.icon
微弱な振動でも割りと認識できますが,タップではなく,触るくらいの振動だとたしかに厳しいですtsunoda.icon
慣れに関しては,逆にジェスチャが安定して,認識が安定しますtsunoda.icon
ブラインド入力は可能でしょうか?園山タカスケ.icon
キーボードを記憶すれば可能ですtsunoda.icon
指を擦り合わせたり、スライドさせる動きは検知できますか?園山タカスケ.icon←議論にありました