クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法

Abstract

クラウドソーシングベースのアノテーションタスクは，低コストかつ広範囲で実施可能であることから，機械学習における学習データの収集手法として広く活用されている．一方で，クラウドソーシングによって得られる回答の品質にはばらつきがあり，品質管理の難しさが課題となっている．そこで本研究では，回答者の回答品質の低下傾向をリアルタイムに検出することで，品質低下を防止する手法の実現を目指している．本稿では，アノテーションタスクの実施中に取得される端末の姿勢角や画面操作といった端末操作情報から特徴量を抽出し，教師あり機械学習により回答品質の低下を推定する二値分類モデルを構築する手法を提案する．本手法の有効性を検証するために，アノテーションタスクの実施と端末操作情報の取得機能を備えたアプリケーションを開発し，被験者実験を行った．実験では，画像に対するキャプションの正誤評価をアノテーションタスクとして依頼し，被験者の作業中における端末操作情報をバックグラウンドで定常的に収集した．収集した端末操作情報を用いて回答品質を推定する二値分類モデルを構築・評価した結果，個人内データを対象とした時系列バリデーションによるデータセット分割を用いたモデルにおいて，Precisionが0.722，Recallが0.741，F1-scoreが0.731という結果が得られた．これにより，アノテーションタスクにおける回答者の品質低下の推定において，本手法の有効性が示唆された．

Links

code:references.bib

@inproceedings{bib:taira_satisficeChat_ubi86,

author={平良繁幸 and 松田裕貴 and 福光嘉伸 and 諏訪博彦 and 安本慶一},

title={{クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法}},

booktitle={研究報告ユビキタスコンピューティングシステム（UBI）},

volume={2025-UBI-86},

number={9},

year={2025},

pages={1--8},

}

https://scrapbox.io/files/69aa7ad0f1c53c173226fa4f.png

Category

Conference

Project

Keywords

Collaborating Organization