Artificial Analysis

AIモデル/AI推論システムの性能を比較するプラットフォーム

人工知能分析インテリジェンス指数v4.1では、9つの評価指標を採用しています:

GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience, AA-LCR

GDPval-AA v2は、Artificial Analysis社が開発したOpenAIのGDPvalデータセットを評価するためのフレームワークです。44の職業カテゴリーと9つの主要産業分野にわたる現実世界のタスクにおいて、AIモデルの性能を評価します。モデルにはシェルアクセスとウェブブラウジング機能が付与され、Stirrupプラットフォーム上でエージェント型ループを形成しながらタスクを解決します。評価はブラインド方式によるペアワイズ比較を通じてEloレーティングとして算出されます。