全身の姿勢推定が可能なイヤーアクセサリの開発
クリエータ：
原 拓也（東京大学 大学院学際情報学府 学際情報学専攻）
田丸 裕己（東京大学 大学院学際情報学府 学際情報学専攻）
平城 裕隆（東京大学 大学院学際情報学府 学際情報学専攻）
耳で聞いたら「いいぽーず」と聞こえたwnishio.icon
ネーミングうまいね！yuki_igarashi.icon
その辺りは狙ったネーミングでしょうねうまい！jarakawa.icon
導入かっこよすぎる！！！nozo0807.icon
どんまい…
あれ？
会場でニコ生やYouTubeを見るのはやめましょう！nishio.icon
もしかしてScrapboxって帯域結構必要としてたりするのだろうか…？（未計測）ebiyuu1121.icon
どうなんだろう…ほとんどテキストだからなぁ…nishio.icon
もしどこでも姿勢推定ができたら公園をジョギングしてる時のフォームの崩れを指摘できそうnishio.icon
ありがとうございます！昨年1月の箱根駅伝で、監督車両から選手にフォームが崩れていることを知らせているのを見たときに、これをウェアラブルイヤホンでできないか、と思ったのがこのPJの本当の始まりでしたhrtk.icon
もしかしてこのデバイス取り付け位置だと、VRヘッドセットに統合できたりするのではebiyuu1121.icon
たしかに！jarakawa.icon
HoLolens2につけて開発に使わせていただきたいですねyuto suzuki.icon
最終的には最近ソニーが発表したLinkBudsみたいなものに組み込めたら最高だろうなあ jarakawa.icon
推定がうまくいくポーズ、苦手なポーズ、あるのかな？ 合気道の姿勢を推定できるかどうか。shudo.icon
もし合気道の姿勢が推定できるのなら，習得できる技の種類が増えそうです！yuto suzuki.icon
まず、合気道の姿勢をモーションキャプチャして学習データセット作る、ってことになるのかな。shudo.icon
ですね，実際に試してみたいですyuto suzuki.icon
どんなポーズのデータセット作ったんだろう？shudo.icon
「〜を識別できますか？」という問いは答えにくい…(すべてのものは色々な確率で識別できる、どの確率なら実用的なのかは応用による、どの程度の確率になるのかはやってみないとわからない)nishio.icon
個人的には、合気道はダンスなどに比べて激しい動きをするわけではないので比較的容易だと思う
同感です．結構静的な動きが多いのでyuto suzuki.icon
学習データにダンスデータが入ってるならポーズのバリエーションとしてはおそらく十分(識別器が表現できる部分空間内に合気道のポーズも含まれている)と思う
なので発表者はこの場で「できます」とは言えないが、試してみたら「意外といける」ってなる可能性が高い
ちゃんとポーズ取れててすごい！kokoheia.icon
肘がやたら曲がって認識されてる・・・？jarakawa.icon
ハードウェア変更に手軽に対応可能なのすばらしいjarakawa.icon
街中でARで洋服を着られるようなアプリを考えているんですが、多くのARグラスはまだ画像を用いた姿勢推定ができない状態なので、ARで洋服を着たい人がイヤーアクセサリのデバイスを身につけることでその姿勢をグラス側に送信することで洋服を着ているように見せることができると思いました。作成されたデータセットすごく価値になるものだと思ってますkokoheia.icon
このシステムの面白いところは、姿勢を取る取らないの意思決定がハードウェアをつけている人側にあるというところで、既存のAR試着だとカメラを向けている人側にどの洋服を着せるかという意思決定ができてしまうので、イヤーアクセサリをつけた人だけの姿勢が取れる、みたいなのはAR洋服体験とすごく親和性高そうだなと思いましたkokoheia.icon
お洒落な人が買うヘッドホン、というブランディングになりそうですね。R用途であれば、メガネ型デバイスに内蔵する方向はかなりありで、その場合耳より体より前にある分、全身が映り込みやすく姿勢推定精度が向上できそうです。ここまで描いてみて、既存のARグラスでどこまでできるのか気になり始めましたhrtk.icon
（ニコ生）公開されているMMDのダンスモーションとか複数流し込んだら精度上がるのかなmitou.it.admin.icon
↑これ気になるebiyuu1121.icon
棒人間が動いたのは3日前！！！？？？？
しゃがんだ姿勢、座った姿勢の推定は、どのくらいうまくいくのだろう？shudo.icon
上半身は比較的上手くいきます！両足が完全に隠れると下半身は絶望的です。逆に言えば、下半身がぐちゃぐちゃになっていることが、しゃがんでいる、座っている判定に使える可能性がありますhrtk.icon
ソフトウェアはハードウェアを超越する（田中PM）