数学推論タスクを検証する学年別問題まとめ

簡単: 小学生レベル

仕事算(小6)

ある仕事をするのにAは20日掛かり、Bは30日掛かります。AとBが協力すると、この仕事を何日でできますか？

正解: 12日

GPT-3.5で正解

つるかめ算(小4)

鶴と亀が合計80匹います。足の数の和が200本であったとき、鶴と亀はそれぞれ何匹いますか？

鶴:60匹、亀: 20匹

GPT-3.5で正解するも、たまに間違える

旅人算(小5)

太郎は午前8時に、毎分60mで歩いて家から学校へ向かいました。寝坊した次郎は午前8時15分に、毎分150mの自転車で家を出発しました。次郎は、太郎を途中で追い越し、太郎よりも9分早く学校へ着きました。家から学校までの距離は何mですか?

正解: 2400m

GPT-3.5では正解せず

GPT-4で正解 -> 2024.1現在、正解せず

普通: 中学生レベル

ピタゴラスの定理(中3)

直角三角形において、直角を挟む2辺の長さがそれぞれ3センチと4センチのとき、斜辺の長さは何センチですか？

正解: 5cm

GPT-3.5で正解

確率(中2)

男子5人と女子4人がくじ引きで1列に並ぶとき、男女が交互に並ぶ確率を求めてください。

正解: 1/126 (0.0079)

GPT-3.5では正解せず

GPT-4でも間違え、+Zero-Shot cotでもダメ、+Zero-Shot cot + Automatic Prompt Engineer (APE)で正解

平方根(中3)

√(28+n*n )　が整数となる自然数nの値を求めよ。

正解: 6

GPT-3.5では正解率 6/10

GPT-4で正解

難しい: 高校レベル

三角関数(高2)

三角形の3辺の長さがa=√13、b=3、c=4のとき、この三角形の外接円の半径を求めてください。

正解: (√39)/3 ≒ 2.082

GPT-3.5では正解せず

GPT-4でも正解せず、+Zero-Shot cotでもダメ、+Zero-Shot cot + Automatic Prompt Engineer (APE)で正解

積分(高3)

放物線 y=x^2-3x と x 軸で囲まれた図形の面積 S を求めてください。

正解: 4.5

GPT-3.5で間違えるも、たまに正解する

GPT-4で正解

考察

以下の2つは、GPT-4で特別なプロンプトなしに正解したため、GPT-3.5の性能を評価する時に使える

平方根(中3)

以下の2つは、GPT-4でも、CoT (Chain-of-Thought) + Automatic Prompt Engineer (APE)しないと正解しない。そのため、GPT-4の性能で、プロンプトの評価をする時に使える

確率(中2)

三角関数(高2)