AbaCaaS / CalcQuest
https://scrapbox.io/files/686f0577af993c536812f51d.png
◆ AbaCaaS： カメラを用いた珠算行動推定・指導システム
算術力を獲得するための方法の一つとして、算盤（そろばん）を用いた計算、すなわち「珠算」が現代においても活用されている。珠算による計算は様々な方法・順序で「珠」を操作する必要があるため、習得には長期に渡る繰り返し学習を要する。一般的な学校教育・珠算教室における珠算指導では、問題への正答誤答に基づく指導が基本となっている。学習者の状況に応じて、教師により実演をすることで理解を促したり、学習者の観察に基づいてミスや苦手な珠操作を発見し指導したりする場合もあるが、基本的に全て人手に頼るほかないのが現状である。また、計算ミスや苦手な珠操作といった一種の「つまづき」には規則性・パターンがあると考えられるが、その知見は教師の中に暗黙知として蓄積され、次回の指導には生かされるものの、形式知化できていないため他者は再利用することができないことが課題となっている。
AbaCaaSは、カメラをセンサとして用いることで「珠算」の能力習得を支援するためのセンシング・情報提示システムである。システムは次の3つの構成要素からなる。
https://scrapbox.io/files/68ccde5a251cee9626e34b3e.png
機能1： リアルタイムな算盤の盤面の把握・珠操作のセンシング
学習者の前に設置した卓上カメラによって卓上を撮影した映像を用い、算盤領域の検出・珠領域の抽出・珠状態の推定の組み合わせによって、盤面の状況（珠操作）のセンシングを実現する。
機能2： リアルタイムな誤操作の検知、苦手パターンの抽出
出題した問題と盤面の食い違いを検出することにより、リアルタイムにご操作を検知する。また、その系列データからどのような数値操作が苦手なのかのパターン抽出を行う。
機能3： 誤操作を改善する介入・情報の提示
テーブルトップインタフェースを用いて、(1)によって検出された算盤領域に合わせた問題表示および誤操作指摘を行うことでリアルタイムなフィードバックを行う。
◆ 紹介動画
https://youtu.be/SVx2wOhk8aI
https://youtu.be/e4Y3DaNZHac
研究キーワード
IoT（Internet of Things） Learning Support Systems（学習支援システム） Machine Learning（機械学習） Image Processing（画像処理） Image Recognition（画像認識） Abacus（そろばん）
研究業績
小嵜泰造, 松田裕貴: ゲーミフィケーションを活用した珠算学習支援システム「CalcQuest」のユーザスタディ, AIoT行動変容学会第9回研究会（BTI-9）, pp.1-8, 北海道函館市, 2025年3月.
Yuki Matsuda: A Table-top Interface for Real-time Coaching in Abacus Learning, The 10th International Conference on Smart Computing (SmartComp '24, Demo), pp.243-245, 2024.
小嵜泰造, 松田裕貴: 珠算学習における計算結果の逐次分析による苦手操作検出手法の提案, 社会情報学会関西支部研究会（SSI）/ 社会システムと情報技術研究ウィーク（WSSIT '24）, pp.1-8, 北海道虻田郡, 2024年3月.
小嵜泰造, 松田裕貴: 算盤の苦手操作克服のためのゲーム要素を用いた珠算学習支援手法 第31回マルチメディア通信と分散処理ワークショップ（DPSWS ’23）, pp.1-6, 富山県高岡市, 2023年10月.
Yuki Matsuda: Abacus Manipulation Understanding by Behavior Sensing Utilizing Document Camera as a Sensor, The 5th International Conference on Activity and Behavior Computing (ABC ’23), pp.1-18, Sept. 7-9, 2023.
小嵜泰造, 松田裕貴: 算盤学習支援システムのための深度カメラを用いた珠操作の認識 マルチメディア, 分散, 協調とモバイル（DICOMO 2023）シンポジウム論文集, pp.57-62, 富山県富山市, 2023年7月.
松田裕貴, 松田裕貴: 珠算学習支援のための盤面認識に基づくリアルタイム情報提示手法 マルチメディア, 分散, 協調とモバイル（DICOMO 2023）シンポジウム論文集, pp.63-67, 富山県富山市, 2023年7月. 【野口賞（デモ賞）】【優秀プレゼンテーション賞】
松田裕貴: 書画カメラを用いた珠算行動センシング 電子情報通信学会技術研究報告, センサネットワークとモバイルインテリジェンス研究会（SeMI）, Vol.123, No.31, pp.70-75, 沖縄県国頭郡, 2023年5月.
#Project