SWE-Bench Pro - Public 评测基准详情

139

Scale AI 于 2025 年 9 月 21 日发布了 SWE-Bench Pro,这是一个针对 AI 代理在软件工程任务上的评估基准。该基准包含 1,865 个问题,来源于 41 个活跃维护的代码仓库,聚焦企业级复杂任务。现有模型在该基准上的表现显示出显著差距,顶级模型的通过率低于 25%,而最近的榜单更新显示部分模型已超过 40%。这一发布旨在推动 AI 在长时程软件开发中的应用研究。

模型模式说明

不同模式会显著影响成绩,请在对比榜单时留意标签提示。

提示:若某条记录未显示任何标签,即默认是 normal 常规模式。

normal

常规推理:单步推理,不延长思考、也不调用额外工具。

thinking low medium high

Thinking 系列:常规延长思考时间,low/medium/high 代表不同耗时或深度,各厂商叫法不同。

deeper thinking

Deeper thinking:在 Thinking 基础上进一步延长思考链条,通常意味着更多算力与时间。

使用工具 / 联网

允许调用检索、浏览器、代码解释器等外部能力。

parallel_thinking

并行思考:多线程/多代理协同探索再汇总,通常只在厂商内部实验环境中启用、尚未对外开放,因此被视为“作弊”模式。

SWE-Bench Pro - Public 大模型得分排行榜

数据来源:DataLearnerAI

SWE-Bench Pro - Public详细排名数据表格

默认:仅展示常规/非并行的评测结果,可按需查看并行思考成绩。

默认隐藏并行思考结果。

排名
模型
得分
发布时间
参数(亿)
1
43.6
2025-09-30
未知
SWE-Bench Pro - Public得分 43.6
发布时间 2025-09-30
参数(亿) 未知
查看模型详情
2
42.7
2025-05-23
未知
SWE-Bench Pro - Public得分 42.7
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
3
Anthropic Logo
Haiku 4.5 thinking
39.45
2025-10-15
未知
SWE-Bench Pro - Public得分 39.45
发布时间 2025-10-15
参数(亿) 未知
查看模型详情
4
OpenAI Logo
GPT-5 high
36.3
2025-08-07
未知
SWE-Bench Pro - Public得分 36.3
发布时间 2025-08-07
参数(亿) 未知
查看模型详情
5
27.67
2025-09-05
10000.0
SWE-Bench Pro - Public得分 27.67
发布时间 2025-09-05
参数(亿) 10000.0
查看模型详情