リアルタイムな動画内物体認識技術を用いた物探しシステム
クリエータ：長沢瑛史（静岡大学 大学院総合科学技術研究科 工学専攻）
担当PM：田中邦裕（さくらインターネット株式会社 代表取締役社長）
プロジェクト概要（採択時）：https://www.ipa.go.jp/jinzai/mitou/2022/gaiyou_tn-3.html
https://scrapbox.io/files/63f1ca437d5a7c001c82a9f1.png
https://fine-top.sakura.ne.jp/
上のリンクでアプリを公開しています。プレゼンの最後にデモをする予定ですが、モデルの読み込みに時間がかかるので、できれば事前に読み込んでくださると嬉しいです。
使い方
0. カメラの使用許可を求められたら許可してください。
1. 「モデル読み込み」を押す
2. モデルを読み込んでいる間、下の検索欄で探したい商品の画像の名前を入力し検索する。前へ/次へ で入力画像の候補を選ぶ。
3. 「モデルの読み込みが完了しました」と出れば準備完了です。
4. 入力画像がカメラの映像に映ると背景の色が変わり、またバイブレーションによるフィードバックがされます。
Safari等一部のブラウザは仕様上バイブレーションしません。
商品画像は背景が白いものを選んでください。また商品のロゴなど特徴がしっかり写っているものは反応しやすい気がします。
iOS SafariがOOMで死んでしまったkekeho.icon
三ツ矢サイダーオレンジ、果汁たっぷりでちゃんと美味しいですよね。大好きです。果汁のない香料だけみたいな商品が多い中、本当に素晴らしい商品だと思います。kekeho.icon
コミュ障向け（店員に尋ねなくていい）１人で物探しシステムだったのか！？首藤一幸.icon
きのこの山、たけのこの里　「この後、スタッフが美味しくいただきました」って入れよう
データ拡張で合ってますか？1枚の画像から64種類のデータ拡張方法を簡単に適応できるライブラリとかあるから使える、かも？https://github.com/aleju/imgaug
昨日、ヨドバシでプリンタ用のラベル紙を買いに行ったけど、そういうとき欲しい(見た目がほぼ一緒すぎて見つからない)皆川達也(みなたつ).icon
グリッドに分けて識別する方法は2-stageの物体検出器のやってることに近い？atom.icon
グリッドに分けるとこをRegion Proposal Networkに切り替えたら精度あがりそう
One Shot Object Detection（1枚の画像データから学習）アップルがチュートリアルを出しているので参考になるかもしれません！
https://apple.github.io/turicreate/docs/userguide/one_shot_object_detection/
僕、自力でハヤシメシを見つけられなかったnishio.icon
「名前に反してこの分野ではあまり優秀とはいえないスマートフォン」wwwnishio.icon
商品をパッと見つける物探しツールと、なかなか見つけさせないドン・キホーテの戦い、まで読んだ 首藤一幸.icon +1kekeho.icon皆川達也(みなたつ).icon辻口輝.icon
GhostNet: ゴーストを減らすのではなく作る
お金を登録しておけば、道に落ちてるお金を見過ごさずに済む？
天才 首藤一幸.icon
私、よくApple 製品を拾う
SLAM等で作成した３次元データ＋テクスチャから物体を探す拡張は考えていらっしゃいますか？棚の写真を撮るより使いやすく、座標も出せると思いましたKizashi Nakano.icon
手元の綾鷹カフェ 抹茶ラテがめちゃめちゃ反応する。首藤一幸.icon
https://scrapbox.io/files/63f1d8651e7c43001cdbbb4c.png
Threshold 0.64くらいにするとコカコーラゼロがいい感じに認識されました
鏡面反射は昔から解析が難しいですよね（経験者）ムウラ.icon
それofそれKizashi Nakano.icon
カメラでの物体認識を行うなら、データセットの拡張として明るさや光源を考慮した画像生成を行うことでより制度が高くなると思いますKizashi Nakano.icon
氷結がうまくいかないのは、会場の暗さや物体の鏡面反射が邪魔しているのかもKizashi Nakano.icon
モデルが大きいからアプリ化はしないのかな？皆川達也(みなたつ).icon
何でも検出できるのはとても良いと思いますが、物体の属性を考慮して探したい物体に適応したモデルもあると精度が向上すると思いますKizashi Nakano.icon
「きのことたけのこの区別はくだらない」(AI氏)
どういうシーンで一番役に立てたいのかな？Hiromi Okuda.icon
tSNEで観察してはどうかという意見
画像ならGradCAMとかで可視化も面白そう　https://github.com/jacobgil/pytorch-grad-cam
あー、画像の解像度が162^2なのかKizashi Nakano.icon
探すときには物体が小さいことが多いので苦労しそうKizashi Nakano.icon
Web storageには入らないのかな伊藤謙太朗.icon
最大5MBって書いてあるから無理そう: https://developer.mozilla.org/ja/docs/Web/API/Web_Storage_API
安価に簡単に導入できるなら
立食パーティーの人混みの中から探したい人の顔を見つけるとか？nishio.icon
首藤PMがずっとキノコとタケノコの画像で試して遊んでいるのを見つけてしまった辻口輝.icon +1首藤一幸.icon
物品の一番目立つ箇所（三ツ矢サイダーのアイコンとか）を最初に検出しておいて、それを正解データをして使用するのはどうでしょうか？人間が物体を探すときにもある程度目立つ点を使って探しているんじゃないかと思うのでKizashi Nakano.icon
スーパとかでバイトしたことがありますが、同じメーカーの商品を近くに置くことはよくあるので非常にいいアイデアだと思います辻口輝.icon
機械学習は素人なので、間違ったことを言っていたら無視してくださいKizashi Nakano.icon
きのこは高め、たけのこは低め、っていう傾向はちゃんとありそう。首藤一幸.icon
https://scrapbox.io/files/63f1dc8a4a815d001b53769e.pnghttps://scrapbox.io/files/63f1dc90704957001c60a84d.png