GPQA Diamond
博士課程在籍 or 取得済みの専門家集団が7割しか正解できない難易度の問題に対して、AIは2023年に39%、2024年に78%、2025年に93%の正解率に到達した
2024-09-12
LLM で論理的思考を学ぶ | OpenAI
https://gyazo.com/d1c149b2b230570c42263801f43aff8b
2025-12-11
GPT-5.2 による科学と数学の前進 | OpenAI
https://gyazo.com/f78a6e1af9f63c62fc7c108e6162d748
GPQA: A Graduate-Level Google-Proof Q&A Benchmark(2023)
https://arxiv.org/abs/2311.12022
対応する分野で博士号取得者または現在取得中の専門家は65%の正確率(後から明らかな誤りを除外すると74%)
We only hire workers who are in or have completed a PhD
私たちの最強のGPT-4ベースの基準値は39%の精度を達成しています
2024年に78%、2025年に93%になった