AQuA
Algebra Question Answering with Rationales (AQUA-RAT)は、理由付けのある代数的な単語問題を含むデータセット。
代数とは、数の代わりに文字を用い、計算の法則・方程式の解法などを主に研究する数学
自然言語の理由付けを含む代数言葉の問題が含まれる
要は、数学 + 推論能力を評価するためのデータセット
このデータセットは、実際の数学の試験から取られた複数の選択肢を持つ算数の問題からなる。AQuAデータセットの特徴は、単に問題文の算数の問題を解くだけでなく、それぞれの問題に対して正解だけでなく複数の誤った答えも提供されている点にあり、NLPモデルが数学的な知識だけでなく推論能力をも使って、なぜ特定の選択肢が正しいのか、または、なぜ他の選択肢が間違っているのかを理解し議論する能力を評価する。
このデータセットは、自然言語による理由付けがなされた代数的な単語問題約10万問から構成されている。
各問題は4つの部分からなるjsonオブジェクトである：
問題 - 解くべき問題の自然言語による定義
選択肢 - 可能性のある5つの選択肢（A、B、C、D、E）、そのうちの1つが正しい
根拠 - 問題の解法の自然言語による記述
正解 - 正しい選択肢
具体例:
{
"question": "A grocery sells a bag of ice for $1.25, and makes 20% profit. If it sells 500 bags of ice, how much total profit does it make?",
"options": "A)125", "B)150", "C)225", "D)250", "E)275",
"rationale": "Profit per bag = 1.25 * 0.20 = 0.25\nTotal profit = 500 * 0.25 = 125\nAnswer is A.",
"correct": "A"
}