オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログの統計分析

Abstract

オンラインアンケートにおいて，なるべく楽に早くアンケートタスクを完了しようとする「Satisficing（努力の最小限化）」という態度が調査結果の信頼性を低下させる問題がある．この問題に対し，回答時間が明らかに短い回答を除外するなどの措置が考案されてきたが，回答時間だけでは完全に除外することができない．そこで我々は，回答時間だけでなく，回答中の画面操作を観測することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．世界中で利用されているオープンソースアンケートシステムLimeSurveyの拡張機能として，回答中の画面操作ログ（回答操作ログ）を記録できるプラグインを開発し，本システムを用いてクラウドソーシング上でアンケート実験を行った．実験は，回答者は各自のスマートフォンを用いて，リッカート形式と自由記述形式の質問から成るアンケートに回答してもらうものであり，アンケートの途中にはSatisficingを検出するために考案されている既存の質問を挿入した．1000人に対して回答を依頼し，収集した回答内容および回答操作ログから，Satisficingを表現する可能性が考えられる特徴量を生成し，特徴量ごとにSatisficingである群とSatisficingでない群の母平均の差の検定を行った．結果として，既存の特徴量であるテキストの文字数，連続同一回答数，中間回答数に加え，開発したプラグインでのみ取得可能なスクロール速度，選択肢の変更回数，リッカート形式の回答時間などに統計的有意差があることを明らかにした．また，スクロール速度やテキストの変更回数に関しては，絶対値では差がない一方で，回答者ごとのベースラインとの差では有意な差が確認できた．

Links

code:references.bib

@article{bib:gogami_surveysense_dbsj2022,

author={後上 正樹 and 松田 裕貴 and 荒川 豊 and 安本 慶一},

title={オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログの統計分析},

journal={日本データベース学会和文論文誌},

volume={20-J},

year={2022},

pages={1--7},

article-number={9}

}

https://scrapbox.io/files/68d41db8ab54047692b4c6f6.png

Category

Project

Keywords

Collaborating Organization