加载中...
加载中...
Scale AI 于 2025 年 9 月 21 日发布了 SWE-Bench Pro,这是一个针对 AI 代理在软件工程任务上的评估基准。该基准包含 1,865 个问题,来源于 41 个活跃维护的代码仓库,聚焦企业级复杂任务。现有模型在该基准上的表现显示出显著差距,顶级模型的通过率低于 25%,而最近的榜单更新显示部分模型已超过 40%。这一发布旨在推动 AI 在长时程软件开发中的应用研究。
一个用于评估大模型解决真实世界代码工程的评测基准
数据来源:DataLearnerAI
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | Claude Sonnet 4.5thinking | 43.6 | 2025-09-30 | 未知 |
| 2 | Claude Sonnet 4thinking | 42.7 | 2025-05-23 | 未知 |
| 3 | Haiku 4.5thinking | 39.45 | 2025-10-15 | 未知 |
| 4 | GPT-5high | 36.3 | 2025-08-07 | 未知 |
| 5 | 27.67 | 2025-09-05 | 10000 |