SingleEq
SingleEqは、多段階の計算を必要としないよりシンプルな算術問題を表します。これは、
MultiArith
のような、より複雑な多段階推論を必要とする問題と対照的。
モデルが
基本的な算術問題をどの程度うまく処理できるか
、を理解する上で重要なベンチマーク
具体例
https://github.com/kojima-takeshi188/zero_shot_cot/blob/main/dataset/SingleEq/questions.json
https://scrapbox.io/files/659fe2174e9c6b0024745b60.png