StrategyQA
難しい推論をさせるときに使われるデータセット。
自然言語理解(NLU)と推論能力を評価するための質問応答（QA）タスク。 質問はしばしば直接的な知識だけでは答えられず、論理的推論や隠れた前提の特定が必要になる。
StrategyQAの質問は、一般的な事実に基づいているものの、答えを導き出すためには推論や戦略的な思考が必要なもの。
これらの質問は、直接的な回答が得られないように設計されており、参加者は複数の情報源や知識領域を組み合わせて答えを導き出す必要があります。
1. 「バスケットボールの試合を見るとき、観客は時々天井を見上げるか？」
- この質問に答えるには、バスケットボールの試合がどのように行われるか、特にゴールが天井の近くにあることを知っている必要があります。
2. 「自動車が発明される前、ニューヨーク市に交通信号はあったか？」
- この質問は、交通信号が自動車の流れを管理するために発明されたという事実と、自動車が広く使われる以前の交通状況に関する知識を要求します。
3. 「砂漠で雪だるまを作ることはできるか？」
- この質問には、砂漠の気候条件と雪だるまを作るために必要な条件（特に雪の存在）に関する知識が必要です。
これらの質問は、事実の記憶だけでなく、論理的な推論や複数の情報源を結びつける能力を評価するために設計されている。
具体例
Q: "Does Linus Torvalds make money off of DirectX?
A: "No. DirectX is a proprietary technology owned by Microsoft. Linus Torvalds is the creator and lead developer for the open-source Linux kernel. The Linux kernel is used in operating systems that are competitors of Microsoft Windows."