MultiSpanQA

複数の独立した回答を持つ質問（Natural Questionsデータセットからの質問から派生し、テキストの複数の連続しないスパンから成る一連の回答）をもつ、データセット

具体例

質問: 「"ハリーポッター"シリーズに登場する魔法の生き物をすべて挙げてください。」

通常のQAシステムでは、一つの生き物（例えば「ヒッポグリフ」）を答えるか、あるいは一つの答えとして複数の生き物を列挙するかもしれません。しかし、MultispanQAアプローチでは、この質問に対して、「ヒッポグリフ」、「ドビー」、「バジリスク」など、複数の魔法の生き物を個別のエンティティとして識別し、それぞれについて回答します。

このように、MultispanQAは複雑で文脈的に豊かな質問に対して、より詳細かつ包括的な回答を提供することが可能です。特に、情報が豊富で複数の要素を含むテキストにおいて有用です。

論文の具体例

https://scrapbox.io/files/65b06cf7e794430025b80cba.png

論文

既存の読解力データセットのほとんどは、与えられた文章から1つの連続したスパンとして抽出されるシングルスパン回答に焦点を当てている。マルチスパン問題、すなわち、文章中の複数の不連続なスパンが答えとなる問題は、現実社会でもよく見られるが、あまり研究されていない。本論文では、マルチスパン問題に特化した新しいデータセットであるMultiSpanQAを紹介する。生の質問と文脈はNatural Questionsデータセットから抽出される。マルチスパンの再アノテーションを行った後、MultiSpanQAは、基本バージョンでは合計6,000以上のマルチスパンの質問から構成され、拡張バージョンでは19,000以上の未回答の質問、単一およびマルチスパンの回答を持つ質問から構成される。マルチスパン質問応答評価のための新しい評価基準を導入し、高度なモデルを用いていくつかのベースラインを確立する。最後に、全てのベースラインを上回り、我々のデータセットで最先端を達成する新しいモデルを提案する。