手話認識による逆引き検索が可能なクラウド型手話辞典の開発
クリエータ：髙橋 亮太（慶應義塾大学大学院理工学研究科開放環境科学専攻）
担当PM：稲見 昌彦（東京大学 総長補佐・先端科学技術研究センター 教授）
稲見先生が「こんにちは」を手話でご挨拶！yuki_igarashi.icon
手話勉強してるからめっちゃ楽しみにしてた！わくわく！！Chinatsu Ozawa.icon
視聴覚障害の研究をしているけど手話が話せない落合ですochyai.icon
スマホで会話していますochyai.icon
VisionProが教えてくれるよsowawa.icon
返事をどうやって返すかが問題がそれも教えてもらうかochyai.icon
それはあるsowawa.icon
吹き出しみたいにスマホを使うのが日常仕様ochyai.icon
それでこれが製品になったw ochyai.icon 👍 sowawa.icon
Vsion ProとかQuest 3なら眼の前に表示される手に合わせるだけで手話が喋れるみたいなAR App作れそうですね𥱋瀨洋平.icon
https://scrapbox.io/files/65d1876ac695380025e2471c.png
手話に字幕を出したいochyai.icon
リアルタイム逆引き字幕が作りたいochyai.icon
泉くんochyai.icon
検索時間が気になるochyai.icon
4-5秒
なんだめっちゃ早いのか 1秒以下
手話は文脈性が重要だochyai.icon
手話と単語の中間言語ができてそうなのが面白いochyai.icon
にているのが面白い，めっちゃ面白いochyai.icon
相撲で見た！nishio.icon
検索結果複数出るんだtaitohasegawa.icon
英単語アプリみたいに一個検索したら近いやつも一気に覚えられるのいいtaitohasegawa.icon
確かにnishio.icon
ただ個人的には9個は多いなという印象もあったかも...3個くらいだとその場で検索する時でも覚えきれそうtaitohasegawa.icon
候補を自分で選ぶ時文脈も考慮すると思うので，複数出るのすごくいいですtomoko yonezawa.icon
文脈に応じて勝手に判断してこれじゃね？って候補にしっかりと目立ちやすくして欲しいかもtomoko yonezawa.icon
その道のプロに聞くのが一番いいけど，身近にプロはいない＋聞きにくい Kazuki Takemi.icon
ここを解決するプロジェクト好きですKazuki Takemi.icon
こういう課題はどんどんソフトウェアで解決していくべきSoichiro Ueda.icon+1Housei Wang.icon
手話界隈のプロで普及活動・教育活動している人ってどういうアプローチ他にしてるんだろう？Kazuki Takemi.icon
伝えたいけど，伝えるのが難しいという課題もありそうKazuki Takemi.icon
＜＜＜3700個＞＞＞圧倒的すぎるChinatsu Ozawa.icon
左・中央・右といろんな視点でみれるの痒いところまでカバーしてるな〜確かに中央から見れるとは限らないもんなtaitohasegawa.icon
いろんな検索の仕方を用意して問題に対処している感じが、ご本人の実際の悩みから出てきた解決方法なのだなぁというのを感じるSoichiro Ueda.icon
どこ見ればいいかわからないってのは結構初心者にはハードルになりそうだから類似度とか表示されてるとありがたいかもtaitohasegawa.icon
あ、でもこれって類似度順に並んでる？
この若干違うポイント・共通するポイントの解説ほしくなってしまうKazuki Takemi.icon
プレゼンで話してもらってるポイントや見ているポイントをシステムに落とし込めたらかなりおもしろうKazuki Takemi.icon
確かに、類似検索見てると、形は似てるけど意味が全然違うものが多そうで、そのせいで覚えるのが難しいみたいなことがありそうだから、どう区別つけるかも含めて教えてもらえると覚えやすそうSoichiro Ueda.icon
類似度とかに寄ってクラスター分けして表示されると嬉しいかも，すごいにてるのに違う意味とかtomoko yonezawa.icon
英単語もラテン語の組み合わせ的なものから成り立っていたりするけど、手話もそんな感じ？小島聡太.icon
実写動画だから難しいかもだけど動画重ね合わせて違う部分だけわかるようにするとかtaitohasegawa.icon
これは勉強になるnishio.icon
「可愛い」とかでも3種類くらい手型あるけど，類似検索？逆引き？がうまく行くんだろうか？？Chinatsu Ozawa.icon
文脈で手型が違う時は，人間が頑張ってデータを追加するしかないのかなぁ？国語辞書みたいに単語意味類語とかも表示されるともっと連鎖的になりそうChinatsu Ozawa.icon
そもそもなんでこの連鎖がおきるんだろう？ Kazuki Takemi.icon
和歌山・ウイスキー・あめ: 一見関連性なさそうだけどKazuki Takemi.icon
自然言語でいうところの語源のようなつながりはある？Kazuki Takemi.icon
手話認識の部分だけでもいくらでも語ることあるんだろうな、大変なテーマだSoichiro Ueda.icon
前後の手話も取り込めば、文脈も含めて精度も上がりそう。一気に３つ検索等小島聡太.icon
検索対象語との近さ・確信度的な数値があるとよりわかりやすい？選択肢あるだけでも感動があるのが動画からめちゃくちゃ伝わりますが！！Kazuki Takemi.icon
自分以外の人に使ってもらう大切さ！yuki_igarashi.icon+1jarakawa.iconKazuki Takemi.icon
たしかにHaskell初心者のときは記号の組み合わせが多くて逆引き検索できなくて辛かったtakesako.icon
これ使って、手話一つも知らない人同士で会話してみた！みたいなことできたら面白そうSoichiro Ueda.icon
「報告会」を、「報告」と「会」にわけずに検索できるの、すごい！！！yuki_igarashi.icon
てか検索結果の表示結構早い印象taitohasegawa.icon
類似手話を知れるのエンタメとしてもおもしろそう！！Kazuki Takemi.icon
tiktokとかでネタ無限に作れるし，協力者募りながらアノテーションとか手伝ってもらったりできたりする？Kazuki Takemi.icon
ほしい，単純にほしいtomoko yonezawa.icon
うちの会社でも、多くの社員が参加する集会では、リアルタイム文字起こしをしてますね。耳の聞こえない社員の方もいますしkunihirotanaka.icon
マジョリティがマイノリティに寄り添うことの支援なのだなぁnishio.icon
「字幕でいいじゃん」は無自覚にマイノリティに負担を押し付ける発言なわけか
逆の立場から表現すると「日本語みたいなマイノリティ言語話者は字幕で見ればいいじゃん」と英語話者に言われてるようなものということか
文化保存が重要ochyai.icon
ローカライズとかでもそうなんですが例えばオランダ人のほとんどは英語かなりわかるわけですがオランダ語でローカライズするとめちゃめちゃ喜ばれるしゲームの売上も人口比率で他の国より良かったりしました（オランダ語にローカライズされる日本のゲームはレア）やはり第一言語って違うんでしょうね𥱋瀨洋平.icon
手話という一つの言語として大事にしていく必要がある、なるほどSoichiro Ueda.icon
先ほどの感覚過敏も耳が聞こえない方へも、そのソリューションを提供することで、健常者もメリットを得ることができるので、社会としてどんどん実装していけばいいと思ってるkunihirotanaka.icon
エレベータを設置するのも同様で、車椅子やお年寄りの方が便利になるだけでなく、ベビーカーや大きな荷物を持つ人などにも広くメリットが伝わるので、マイノリティから色々と学ぶ姿勢が重要かなkunihirotanaka.icon
配信の許可取らないといけないのめっちゃ大変だ...Soichiro Ueda.icon
(1)利用者は、本件データを、学術研究（基礎技術開発を含む）にのみ利用することができるものとし、利用者が開発する製品、システム、サービス等に本件データ及び本件データを加工したデータが含まれてはならないものとします。
なんでそんなに制約ガチガチなんだろうtaitohasegawa.icon
Sora使って手話動画生成できたりしないんかなw
できると思うが，それしちゃだめという回答を受け取ったと理解しているochyai.icon
つらみを感じた
手をこんな感じで動かしている、みたいなプロンプトだけ入れて生成できたら良さそうSoichiro Ueda.icon
動画→手形・口形・表情・上半身→プロンプト変換→Sora等→データセット作成 ができるといいんだけれどこれはなんの権利に違反しているのかochyai.icon
めちゃくちゃいいプロダクトがゆえにボトルネックになってるのが人手なのが惜しい... Kazuki Takemi.icon
たしかにプロダクト利用者から動画・ラベル見れたらいいかも！！(五十嵐PMのコメントより)
今回作ったプロダクトを少し変えて，検索して答えてくれる先を手話に精通している人に答えてもらう・入力を助力してもらうことはできないのかな？Kazuki Takemi.icon
初心者には9つの選択肢が出されても選択難しいけど，プロの人からすると9つから正解ラベルを押すだけの仕組みができているので，かなり良いアノテーションツールになりそう！Kazuki Takemi.icon
デフリンピック2025が東京ですね！
ありがとうの手話はよくみるSoichiro Ueda.icon