GPQA
Graduate Level Expert Reasoning (GPQA) は、高度な推論能力を評価するためのベンチマークの1つ。
大学院レベルの専門的な知識と論理的思考を必要とする質問を使用して、AIモデルの性能を測定する。
GPQAは、物理学、化学、生物学、経済学、哲学など、様々な専門分野から大学院レベルの質問を収集している。
具体的な問題例
エネルギーE1とE2の2つの量子状態は、それぞれ10^-9秒と10^-8秒の寿命を持つ。この2つのエネルギー準位を明確に区別したい。この2つのエネルギー準位が明確に区別できるようなエネルギー差は次のうちどれでしょう？
目的の転写因子に対する抗体を用いてPFA固定したサンプルをチップ-seqした後、標準的なNGSとデータ処理ステップを行ったところ、PFA+DSG固定を用いるとピークが消失した。このような消失ピークはどこで発見される可能性が高いのでしょうか？
主なモデルの成績
https://scrapbox.io/files/65edc92d98c14400240e3b6c.png