GDPval-AA v2

GDPval-AA v2は、Artificial Analysis社が開発したOpenAIのGDPvalデータセットを評価するためのフレームワークです。44の職業カテゴリーと9つの主要産業分野にわたる現実世界のタスクにおいて、AIモデルの性能を評価します。モデルにはシェルアクセスとウェブブラウジング機能が付与され、Stirrupプラットフォーム上でエージェント型ループを形成しながらタスクを解決します。評価はブラインド方式によるペアワイズ比較を通じてEloレーティングとして算出されます。