SituatedQA
SituatedQAは地理的または時間的な文脈に基づいてモデルが質問に答えるデータセット
例えば、「今日の天気は？」という質問に対して、通常のQAシステムは一般的な天気情報を提供するかもしれませんが、SituatedQAシステムは、質問者の現在地や時間を考慮して、その場所、その時間の正確な天気情報を提供することができる。
同じ質問に対する回答は、言語外の文脈（いつ、どこで質問されたか）によって変わる可能性がある。この課題を研究するために、我々はSituatedQAを導入する。SituatedQAは、システムが時間的または地理的な文脈を与えられた質問に対する正しい答えを生成しなければならない、オープンな検索QAデータセットである。SituatedQAを構築するために、まず既存のQAデータセットからそのような質問を特定する。我々は、情報を求める質問のかなりの割合が、文脈に依存した答えを持っていることを発見する（例えば、NQ-Openの約16.5％）。そのようなコンテキスト依存の質問に対して、我々は代替コンテキストとそれに対応する回答をクラウドソーシングする。我々の研究は、既存のモデルが、頻繁に更新される回答や、一般的でない場所からの回答を生成することに苦戦していることを示している。さらに、過去に収集されたデータに基づいて訓練された既存のモデルが、更新された証拠コーパスを提供された場合でも、現在に質問された質問に答えることにいかに汎化できないかを定量化する（約15ポイントの精度低下）。私たちの分析は、オープン検索QAベンチマークは、世界的かつ将来的に適切であり続けるために、言語外のコンテキストを組み込むべきであることを示唆しています。
具体例
"what city is in the center in usa", "location": "USA", "answer"
"edited_question": "who was the first president of our india as of 2021", "answer": "Rajendra Prasad"