02 スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装
https://scrapbox.io/files/6392b3ab92703400233869f2.png
要旨：
本稿では，スマートフォン背面のジェスチャ認識を実現するスマホリング型のデバイスを提案する．我々はまず，ユーザ定義型ジェスチャのアプローチでスマホリングの最適なジェスチャを設計した．その後，機械学習のモデルを使用し，ジェスチャを分類する２つの分類器を実装し，参加者から入力データを収集した．その結果，日常動作とジェスチャ入力の分類では99.1%，ジェスチャの種類の分類では92.7%の精度が確認された． 採録時コメント：
本論文では、複数の圧力センサを配置したスマホリングを用いたスマートフォン背面でのジェスチャ入力手法を提案しています。提案手法自体の技術的な新規性は低いですが、設計したデバイスに合わせたジェスチャセットを検討し、性能評価により高い認識精度を示していることから有用性が認められます。査読者全員から WISSの登壇発表として採録すべきと判定しました。
参加者メモ・コメント：
動画、じわじわくる池松香.icon
どこかのフリー素材ですかね？ｗ加藤邦拓.icon
iStockで買ってます！坂本大介.icon
なんであんなにスマホをでかくしたがるんだメーカー各位…くらもといたる.icon
↑激しく同意rtakada.icon
スマホがどんどんでかくなっているの許してないぞ！ narumi.icon
最近諦めて両手持ちをしている..加藤邦拓.icon
とはYudai Nishiyama.icon
指の太さに対して（タッチパネル上とかの）インタフェースが小さすぎて操作を間違えちゃうという問題ですね．くらもといたる.icon
ファットフィンガーというよりタイニーアイコン問題ですね（笑）：ソノヤマ1
文字がでかくて読みやすそう（最前列から最後列を思う人間並感）narumi.icon
ジェスチャではなく、ジョイスティックみたいな入力もできるんだろうか池松香.icon
Wobbrockは今年のUIST2022のGeneral Chairだった（豆知識）narumi.icon
Gesture Elicitationの論文めっちゃ伸びそうで羨ましい（？）
スマホリングの普及率ってどれくらいなんですかね？個人的にはリングがないと不安でスマホを持てない体になってしまった藤田和之.icon
（使ったらなんか負けを認めたみたいだと思っている）Yudai Nishiyama.icon
わたし使ってないです．スマホになんか貼るのができない民くらもといたる.icon
20%くらい？坂本大介.icon
スマホケースに貼れば問題解決、では？使ってないけど。←スマホに貼りたくない問題(Yoshitaka)
↑フラットな面がフラットじゃない状態になるのが好きじゃないんです，という感覚なのですが…わたしだけかも？くらもといたる.icon
なるほど。置いて平らにならないの(凹凸がある)が私もちょっと、と思う。私はストラップで落下防止派です。古いなあ。(Yoshitaka)
僕はMOFTX使っています！Yuma 17.icon ← 立てないときは平たいんですね．なるほど…くらもといたる.icon リングに人差し指通して使ってる人いるのかな？Yuma 17.icon
たしかに、中指派ですyuiseki.icon
人差し指派と中指派は半々くらいの割合みたいです（調査しました）坂本大介.icon ←+1.icon
おおーなるほどyuiseki.icon
実装
圧力センサとマイコンらしい narumi.icon
取得した信号を30x40の画像にしてからその画像をCNNで学習している
画像での学習はとりあえず楽だからやったという感じ？
でももう精度がめちゃくちゃいいから別にいらないか
永久磁石エラストマー（PME）とホール素子使うと、パッシブなセンサでの検知もできそうかもryotakahashi0725.icon
これは良い質問だと思います narumi.icon -> takada
OKrtakada.icon
スマホのセンシングがたまたま並んでるけど、これは界隈ではホットトピックなのかな narumi.icon
スマホリング使ったことないんだけど、スマホリングってスマホを保定する以外の使い方はある？ narumi.icon
スタンドの代わり
自撮り用途にも良く使われるみたいですね
手法
23タスク
人差し指、中指
参加者20名
90のジェスチャを収集
Gesture Elicitationのタスクでなにかおもしろいジェスチャーは見つかった？ narumi.icon
（質問だけど，趣旨からずれるので特に取り上げる必要はないです）ジェスチャ定義のために，操作を促すために何のアプリケーション（タスク）をさせたんだろう
（質問）「ねじる」動作が無いのはなぜ？
片手で操作することを想定したからじゃないですかね 坂本大介.icon
a.iconユーザー定義型ジェスチャ調査で見られなかった
ジェスチャというからもうちょっとマクロな雰囲気を想像したのだけど，けっこうプリミティブな操作が対象なんですね．マクロレベルのレイヤーになるとまた全然デザイン違っちゃうんだろうか．くらもといたる.icon
スマホの向きとか制約あるのかなakiyamayo.icon
例えば画面上向きとかで使えるのか とか
今回の研究では縦向きの操作を対象に調査しました（横向きでは行ってません）。今後調査を行う場合は検討いたします。ありがとうございます！日下部完.icon
タップは結構軽く入力しても検知されるのかな池松香.icon
それだと誤動作も激しそうな気もする池松香.icon
+1yuiseki.icon
q.iconジェスチャが発動したというフィードバックがほしいyuiseki.icon
バイブレーションのようなフィードバックがあると良さそう？
ありがとうございます。実験では「力いっぱい入力してください！」みたいな説明はしてませが、参加者にバイアスがかかっていた可能性ももちろん考えられます。日下部完.icon
q.icon複数リングにしたらインタフェースも変わったりしないかなあ：ソノヤマ
iPadとかだと2本つけるの容易ですもんね…あんまり考えたことなかったけど…くらもといたる.icon
q.icon例えばスマホ操作で地図のズームばズームした後にすぐに地図を移動させるなど違う動作が連続して行うことが多いと思うので，異なる動作を連続で行えるなら実用性が広がる？iwamoto.icon
プロトタイプ
ゴムシート
圧力センサ
三次元的な力を検知
q.iconこの動画どうやって作ってるんだろうYudai Nishiyama.icon
ジェスチャ分類
信号処理
q.iconなぜ一度画像にしている…？yuiseki.icon
日常動作とジェスチャを機械学習で二値分類している…
q.icon信号のまま二値分類はできなかったのか？yuiseki.icon
一度波形データのままSVMで分類を行いましたが、精度が低かったので画像データとして分類したら高精度が検出できたという感じです。日下部完.icon
自分も音楽を自動生成しようとしてWaveGANやSpecGANを検討したときに、音声信号をいったん画像（SpecGANならスペクトログラム）に変換するというプロセスがありましたYudai Nishiyama.icon 画像は機械学習手法やツールが充実しているし、テンソルなので他のデータ形式より扱いやすいから？
日常動作とジェスチャの2値分類の精度のボーダーってあれば教えてください
アプリケーションの提案
SNS, Webサイトの閲覧アプリ
顔面落下，iPadでやたらやらかすのでこれはいいかもしれぬ．．当然にiPadでも同じことができるという理解でいいんですよね…？だとするとすごくほしい．．くらもといたる.icon
+1 Hiromi Nakamura.icon
写真撮影アプリ
地図アプリ
97%異常の精度！yuiseki.icon
質疑応答
意外性のあるジェスチャは見つかったか？
リングに入れた指のジェスチャではなく、リングの外側の指でリングをなぞるなどがあった
ユーザー定義型ジェスチャ調査は具体的なアプリがあった？
よくあるアプリのタスクを動画で表示した
次何したいですか？
派生したような研究です
操作時のフィードバックはあるか
ない。誤操作はほとんどなかったので不要なはず
極めて高精度にジェスチャを判定できるのでフィードバックは不要ではないかという考え
-------