CommonsenseQA

常識的な知識を必要とする多肢選択形式の質問応答タスク用のデータセット。

このデータセットは、合計12,247の質問が含まれ、各質問には5つの選択肢が付属している。

論文概要:

質問に答えるとき、人は特定の文脈に加え、豊かな世界知識を活用することが多い。最近の研究では、主に関連する文書や文脈が与えられた質問に答えることに焦点が当てられており、一般的な背景はほとんど必要とされていない。事前知識を用いた質問応答を研究するために、我々はCommonsenseQAを発表する。CommonsenseQAは、常識的な質問応答のための挑戦的な新しいデータセットである。連想を超えてコモンセンスを捉えるために、我々はConceptNet (Speer et al., 2017)から単一のソース概念と同じ意味的関係を持つ複数のターゲット概念を抽出する。クラウドワーカーは、ソース概念に言及し、各ターゲット概念を順番に識別する多肢選択式質問を作成するよう求められる。これにより、ワーカーは、多くの場合、予備知識を必要とする複雑な意味論で質問を作成することができます。我々はこの手順で12,247の質問を作成し、多数の強力なベースラインによって我々のタスクの難易度を実証した。我々の最良のベースラインは、BERT-large（Devlin et al., 2018）に基づくもので、人間のパフォーマンスである89％を大きく下回る56％の精度を得た。

具体例

https://scrapbox.io/files/65a00ddc4e9c6b002476142f.png

CommonsenseQA2.0