AbaCaaS / AbaCaaS mini / CalcQuest
https://scrapbox.io/files/686f0577af993c536812f51d.png
◆ 研究プロジェクトの概要
AbaCaaS / AbaCaaS mini は、実物の算盤を使った学習体験を保ちながら、ICTによる個別学習支援を実現することを目指す研究プロジェクトです。
算盤（そろばん）は、珠を動かして数を表し、計算を行うための伝統的な道具です。珠算学習は、計算力や暗算力の向上だけでなく、集中力や認知能力の育成にもつながる学習活動として、現在でも広く行われています。一方で、珠算を習得するためには、数の表し方だけでなく、珠をどの順番で、どの指で、どのように動かすかという身体的な操作スキルを身につける必要があります。そのため、能力の習得には長期的な反復練習が欠かせません。
現在の珠算指導では、問題に正解したかどうかをもとに指導することが一般的です。しかし、学習者がどのタイミングで迷ったのか、どの桁で誤操作をしたのか、どのような珠操作を苦手としているのかを継続的に把握することは容易ではありません。熟練した指導者であれば、学習者の手元を観察しながら誤りの傾向を見つけることができますが、その知見は指導者の経験や勘に依存しやすく、データとして蓄積・共有することが難しいという課題があります。
AbaCaaS / AbaCaaS mini では、この課題に対して、カメラをセンサとして用い、学習者の算盤操作を画像認識によってセンシングするアプローチを取ります。実物の算盤を操作する様子を撮影し、盤面の状態、入力値、操作完了のタイミングなどを推定することで、学習者一人ひとりの「つまずき」を可視化します。これにより、正解・不正解だけでは見えにくい学習過程を捉え、苦手な操作に応じたフィードバックや復習問題の提示につなげることを目指しています。
このプロジェクトの特徴は、単にデジタル画面上に算盤を再現するのではなく、実物の算盤を使う学習のよさを残したまま、デジタルな支援を重ねる点にあります。手で珠を動かす感覚、視覚的に桁を捉える感覚、計算に集中する体験を保ちながら、カメラ・画像認識・機械学習・インタラクション技術を組み合わせることで、これまで人手に頼っていた珠算指導を補助する新しい学習環境を実現します。
AbaCaaS は、卓上カメラやテーブルトップインタフェースを用いて、算盤操作の詳細なセンシングとリアルタイムなフィードバックを行うシステムです。一方、AbaCaaS mini は、iPadなどのモバイルデバイスだけで利用できるように小型化・簡便化したシステムです。教室や研究室での高度な学習支援から、家庭や外出先での手軽な反復練習まで、さまざまな場面で使える珠算学習支援を目指しています。
◆ AbaCaaS mini： iPadのインカメラを用いた珠算行動推定・指導システム
AbaCaaS mini は、iPadのインカメラと反射鏡を用いて、手元の算盤操作を撮影・認識するモバイル型の珠算学習支援システムです。
従来のAbaCaaSでは、算盤を撮影するために書画カメラなどの外部機材を用いていました。これに対してAbaCaaS miniでは、タブレット端末に搭載されているインカメラを活用します。インカメラは通常、利用者の顔を撮影するために画面側にありますが、反射鏡を組み合わせることで、iPadの手前に置いた算盤を撮影できるようにしています。これにより、大きな撮影装置を用意しなくても、タブレット端末を中心とした手軽な珠算センシング環境を構築できます。
https://scrapbox.io/files/6a4dd355be32792658d06579.png
AbaCaaS miniでは、算盤に取り付けたARマーカを手がかりに、カメラ画像の中から算盤の位置を特定します。その後、射影変換によって盤面画像を補正し、各桁の珠や軸の状態を画像認識によって分類します。さらに、認識結果を算盤の構造に基づいて照合することで、現在の盤面が表している入力値を推定します。これにより、学習者が実物の算盤でどのような数を入力しているかを、システムが自動的に把握できるようになります。
また、AbaCaaS mini の実用性を高めるために、反射鏡とスタンド機能を一体化したiPad用保護ケースも設計・開発しています。通常時はiPadの保護ケースとして利用でき、学習時にはケースを展開することで、iPadを自立させるスタンドと、手元を撮影するための反射鏡として機能します。これにより、反射鏡やスタンドを別々に持ち運んだり、学習のたびに位置を調整したりする手間を減らし、場所を選ばずすぐに珠算学習を始められるようになります。
AbaCaaS mini のもう一つの重要な機能が、操作完了の自動検知です。従来のシステムでは、学習者が計算を終えたあとに「操作完了ボタン」を押す必要がありました。しかし、珠算学習において算盤以外のボタン操作を求めると、計算の流れや集中を妨げる可能性があります。そこで、算盤上の一定領域に手が存在するかどうかを画像から推定し、手が一定時間検出されなくなった時点を操作完了とみなす手法を提案しています。
この操作完了検知により、学習者は算盤操作に集中したまま、解答の確定から正誤判定までを自然に行えるようになります。さらに、この仕組みを応用することで、ターン制バトル形式の珠算学習教材「CalcQuest 2」や、タイムアタック型の珠算学習教材「寿司算」のような、ゲーム感覚で反復練習できる学習コンテンツの設計にもつなげています。正確さだけでなく、速さや連続的な操作も学習体験の中に組み込むことで、学習者の意欲を高めながら、苦手操作の克服を支援することを目指しています。
https://www.youtube.com/watch?v=uNKa0VkSltQ
◆ AbaCaaS： カメラを用いた珠算行動推定・指導システム
AbaCaaS は、カメラをセンサとして用いることで、珠算の能力習得を支援するセンシング・情報提示システムです。学習者の前に設置したカメラで卓上の算盤を撮影し、画像認識によって盤面状態や操作系列を推定します。さらに、その結果に基づいて、問題提示、誤操作の指摘、苦手操作に応じたフィードバックを行います。
https://scrapbox.io/files/68ccde5a251cee9626e34b3e.png
AbaCaaS が目指しているのは、学習者が「答えを間違えたかどうか」だけでなく、どのような操作過程を経て、その結果に至ったのかを捉えることです。たとえば、ある桁の繰り上がり・繰り下がりで迷ったのか、特定の珠の動かし方で誤ったのか、操作の途中で修正が入ったのかといった情報は、最終的な解答だけからは分かりません。AbaCaaSでは、カメラ映像から盤面の変化を連続的に読み取ることで、このような学習過程の分析を可能にします。
機能1：リアルタイムな算盤盤面の把握・珠操作のセンシング
学習者の前に設置したカメラによって算盤を撮影し、算盤領域の検出、珠領域の抽出、珠状態の推定を行います。これにより、現在の盤面がどの数値を表しているか、どの桁でどのような珠操作が行われたかをリアルタイムに把握します。実物の算盤をそのまま用いるため、学習者は普段の珠算練習に近い形で取り組むことができます。
機能2：誤操作の検知と苦手パターンの抽出
出題した問題に対する正しい操作系列や期待される盤面状態と、実際に観測された盤面状態を比較することで、誤操作を検知します。さらに、学習履歴として蓄積された操作系列を分析することで、学習者がどの種類の計算やどの珠操作を苦手としているのかを抽出します。これにより、指導者の経験に依存していた「つまずきの発見」を、データに基づいて支援できるようになります。
機能3：誤操作を改善する介入・情報提示
検出された誤操作や苦手パターンに基づいて、学習者に対して適切な情報提示を行います。たとえば、算盤領域に合わせて問題を表示したり、誤操作が発生した箇所を示したり、復習すべき操作を提示したりすることで、学習者が自分のつまずきに気づきやすくなります。AbaCaaSでは、テーブルトップインタフェースを活用し、算盤操作とデジタル情報提示を自然に組み合わせることを目指しています。
◆ 紹介動画
https://youtu.be/SVx2wOhk8aI
https://youtu.be/e4Y3DaNZHac
研究キーワード
IoT（Internet of Things） Learning Support Systems（学習支援システム） Machine Learning（機械学習） Image Processing（画像処理） Image Recognition（画像認識） Abacus（そろばん）
研究業績
𠮷村太斗, 松田裕貴: 珠算学習支援システムのための映像分析に基づく操作完了検知手法の提案, 研究報告モバイルコンピューティングと新社会システム（MBL）, Vol.2026-MBL-119, No.42, pp.1-7, 沖縄県宮古島市, 2026年5月.
Yuki Matsuda, Taizo Kozaki: CalcQuest: A Gamified Abacus Learning Support System for Enhancing Operational Proficiency, The 21st International Conference on Persuasive Technology (PERSUASIVE '26), Vol.16476, pp.148-162, 2026.
𠮷村太斗, 松田裕貴: AbaCaaS mini: モバイルデバイスのインカメラを用いた算盤行動センシングのための反射鏡一体型ケースの設計, 情報処理学会インタラクション2026, pp.183-187, 東京都千代田区, 2026年3月.
𠮷村太斗, 松田裕貴: モバイルデバイスのインカメラを用いた算盤行動センシング, 電子情報通信学会技術研究報告, センサネットワークとモバイルインテリジェンス研究会（SeMI）, Vol.125, No.325, pp.79-84, 大分県由布市, 2026年1月.
小嵜泰造, 松田裕貴: ゲーミフィケーションを活用した珠算学習支援システム「CalcQuest」のユーザスタディ, AIoT行動変容学会第9回研究会（BTI-9）, pp.1-8, 北海道函館市, 2025年3月.
Yuki Matsuda: A Table-top Interface for Real-time Coaching in Abacus Learning, The 10th International Conference on Smart Computing (SmartComp '24, Demo), pp.243-245, 2024.
小嵜泰造, 松田裕貴: 珠算学習における計算結果の逐次分析による苦手操作検出手法の提案, 社会情報学会関西支部研究会（SSI）/ 社会システムと情報技術研究ウィーク（WSSIT '24）, pp.1-8, 北海道虻田郡, 2024年3月.
小嵜泰造, 松田裕貴: 算盤の苦手操作克服のためのゲーム要素を用いた珠算学習支援手法 第31回マルチメディア通信と分散処理ワークショップ（DPSWS ’23）, pp.1-6, 富山県高岡市, 2023年10月.
Yuki Matsuda: Abacus Manipulation Understanding by Behavior Sensing Utilizing Document Camera as a Sensor, The 5th International Conference on Activity and Behavior Computing (ABC ’23), pp.1-18, Sept. 7-9, 2023.
小嵜泰造, 松田裕貴: 算盤学習支援システムのための深度カメラを用いた珠操作の認識 マルチメディア, 分散, 協調とモバイル（DICOMO 2023）シンポジウム論文集, pp.57-62, 富山県富山市, 2023年7月.
松田裕貴, 松田裕貴: 珠算学習支援のための盤面認識に基づくリアルタイム情報提示手法 マルチメディア, 分散, 協調とモバイル（DICOMO 2023）シンポジウム論文集, pp.63-67, 富山県富山市, 2023年7月. 【野口賞（デモ賞）】【優秀プレゼンテーション賞】
松田裕貴: 書画カメラを用いた珠算行動センシング 電子情報通信学会技術研究報告, センサネットワークとモバイルインテリジェンス研究会（SeMI）, Vol.123, No.31, pp.70-75, 沖縄県国頭郡, 2023年5月.
#Project