オノマトペ辞書の構築と応用
https://gyazo.com/ce5c400b7820fcff2b4f2c36bbc0d6c5
オノマトペ（擬音語、擬態語）から動作、動作からオノマトペの想起を可能にするシステム実現のために、オノマトペのマルチモーダル辞書を構築した。人形遊戯を題材として選び、提示したオノマトペ（「のろのろ」、「びゅーん」等）とそれによって想起された人形動作を記録し、オノマトペ-動作辞書を構築した。
https://gyazo.com/d5b317af4abf0dbd2425075620e3d082
構築した辞書を用いた応用例として、人形遊戯に応じたオノマトペのプロジェクションマッピングや、オノマトカメラの試作を行った。オノマトカメラは、撮影すると被写体の動作に応じたオノマトペと漫符が自動的に写真に付与されるアプリである。被写体の動作センシングには、被写体自身が身に着けたスマホのセンサを使った。
https://gyazo.com/db7d4bad7bfcbc8dee4173089d3d8f56
https://gyazo.com/aa34d74dce44568e83e26f01dda48405 https://gyazo.com/010fee96297d9f11daec4ce69251d37b https://gyazo.com/3bf353163c0e693f5c337319f2fea46e
発表論文
Takuya Takahashi and Yasuyuki Sumi: Mutual Recall Between Onomatopoeia and Motion Using Doll Play Corpus, HCII 2023, Lecture Notes in Computer Science, vol 14036, pp.265-280, Springer, July 2023. https://dl.sumilab.org/papers/123 高橋 拓也, 角 康之：人形遊戯におけるオノマトペと動作の相互想起, 電子情報通信学会 クラウドネットワークロボット研究会, Vol.119, No.189, pp.7-12, 札幌, 2019年8月28日. PDF