MultiArith

LLMの算術能力を評価するために使用される。

MultiArithは、単純な加算から複雑な式まで、さまざまな算術問題を含んでいる

MultiArithの基本概念

1. 算術問題の多様性: 加算、減算、乗算、除算など基本的な算術操作から、より複雑な問題まで幅広い問題を含んでいる。

2. 自然言語処理: 問題は自然言語で記述されており、モデルが数学的概念を理解し、それを適切に処理する能力が試される。

3. 推論能力: 単に数値を操作するだけでなく、文脈を理解し、隠された情報を推論する必要がある。

具体例

問題文:

「リンゴを3個とオレンジを5個買いました。

リンゴは1個50セント、オレンジは1個30セントです。合計でいくら払いましたか？」

数学的計算:

リンゴの合計コスト: 3×50=150

オレンジの合計コスト: 5×30=150

全体の合計: 150+150=300 セント