Claude 3.5 Sonnet (new)
https://scrapbox.io/files/6735a1e2de1d5cfba79ef0be.png
https://www.anthropic.com/news/3-5-models-and-computer-use
10月22日に発表された、Claude 3.5 Sonnetの改良版
性能は大幅アップだが、価格も速度も同じ
ASL-2基準
ベンチマーク
前回より幅広く改善
特にエージェントコーディングとツールしようタスクで、大きな成果を上げている。
SWE-bench Verified
TAU-bench
https://scrapbox.io/files/6735a1a5de1d5cfba79eeb11.png
https://scrapbox.io/files/6735a1b9212999a8449693c0.png
他のモデルとの性能比較(Artificial analysis)
https://artificialanalysis.ai/
https://scrapbox.io/files/6735a271c72fd6eab1050291.png