SWE-bench Verified 评测基准详情

1,158

在人工智能领域,随着大型语言模型(LLMs)在各类任务中的表现不断提升,评估这些模型的实际能力变得尤为重要。尤其是在软件工程领域,AI 模型是否能够准确地解决真实的编程问题,是衡量其真正应用潜力的关键。而在这方面,OpenAI 推出的 *SWE-bench Verified* 基准测试,旨在提供一个更加可靠和精确的评估工具,帮助开发者和研究者全面了解 AI 模型在处理软件工程任务时的能力。

模型模式说明

不同模式会显著影响成绩,请在对比榜单时留意标签提示。

提示:若某条记录未显示任何标签,即默认是 normal 常规模式。

normal

常规推理:单步推理,不延长思考、也不调用额外工具。

thinking low medium high

Thinking 系列:常规延长思考时间,low/medium/high 代表不同耗时或深度,各厂商叫法不同。

deeper thinking

Deeper thinking:在 Thinking 基础上进一步延长思考链条,通常意味着更多算力与时间。

使用工具 / 联网

允许调用检索、浏览器、代码解释器等外部能力。

parallel_thinking

并行思考:多线程/多代理协同探索再汇总,通常只在厂商内部实验环境中启用、尚未对外开放,因此被视为“作弊”模式。

SWE-bench Verified 大模型得分排行榜

数据来源:DataLearnerAI

SWE-bench Verified详细排名数据表格

默认:仅展示常规/非并行的评测结果,可按需查看并行思考成绩。

默认隐藏并行思考结果。

排名
模型
得分
发布时间
参数(亿)
1
Anthropic Logo
Claude Sonnet 4.5 parallel_thinking + 使用工具
82.0
2025-09-30
未知
SWE-bench Verified得分 82.0
发布时间 2025-09-30
参数(亿) 未知
查看模型详情
2
Anthropic Logo
Claude Sonnet 4 parallel_thinking + 使用工具
80.2
2025-05-23
未知
SWE-bench Verified得分 80.2
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
3
Anthropic Logo
Claude Opus 4.1 parallel_thinking + 使用工具
79.4
2025-08-06
未知
SWE-bench Verified得分 79.4
发布时间 2025-08-06
参数(亿) 未知
查看模型详情
4
Anthropic Logo
Claude Sonnet 4.5 thinking + 使用工具
77.2
2025-09-30
未知
SWE-bench Verified得分 77.2
发布时间 2025-09-30
参数(亿) 未知
查看模型详情
5
OpenAI Logo
GPT-5.1-Codex-Max high + 使用工具
76.8
2025-11-19
未知
SWE-bench Verified得分 76.8
发布时间 2025-11-19
参数(亿) 未知
查看模型详情
6
76.3
2025-11-12
未知
SWE-bench Verified得分 76.3
发布时间 2025-11-12
参数(亿) 未知
查看模型详情
7
76.2
2025-11-18
未知
SWE-bench Verified得分 76.2
发布时间 2025-11-18
参数(亿) 未知
查看模型详情
8
OpenAI Logo
o3-pro high
75.0
2025-06-10
未知
SWE-bench Verified得分 75.0
发布时间 2025-06-10
参数(亿) 未知
查看模型详情
9
74.5
2025-09-15
未知
SWE-bench Verified得分 74.5
发布时间 2025-09-15
参数(亿) 未知
查看模型详情
10
74.5
2025-08-06
未知
SWE-bench Verified得分 74.5
发布时间 2025-08-06
参数(亿) 未知
查看模型详情
11
Anthropic Logo
Claude Opus 4.1 thinking + 使用工具
74.5
2025-08-06
未知
SWE-bench Verified得分 74.5
发布时间 2025-08-06
参数(亿) 未知
查看模型详情
12
xAI Logo
Grok 4 Heavy parallel_thinking + 使用工具
73.5
2025-07-10
未知
SWE-bench Verified得分 73.5
发布时间 2025-07-10
参数(亿) 未知
查看模型详情
13
Anthropic Logo
Haiku 4.5 thinking + 使用工具
73.3
2025-10-15
未知
SWE-bench Verified得分 73.3
发布时间 2025-10-15
参数(亿) 未知
查看模型详情
14
OpenAI Logo
GPT-5 high
72.8
2025-08-07
未知
SWE-bench Verified得分 72.8
发布时间 2025-08-07
参数(亿) 未知
查看模型详情
15
Anthropic Logo
Claude Sonnet 4 thinking + 使用工具
72.7
2025-05-23
未知
SWE-bench Verified得分 72.7
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
16
72.5
2025-05-23
未知
SWE-bench Verified得分 72.5
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
17
72.0
2025-07-03
未知
SWE-bench Verified得分 72.0
发布时间 2025-07-03
参数(亿) 未知
查看模型详情
18
Moonshot AI Logo
Kimi K2 Thinking thinking + 使用工具
71.3
2025-11-06
10400.0
SWE-bench Verified得分 71.3
发布时间 2025-11-06
参数(亿) 10400.0
查看模型详情
19
70.8
2025-08-28
未知
SWE-bench Verified得分 70.8
发布时间 2025-08-28
参数(亿) 未知
查看模型详情
20
OpenAI Logo
GPT-5.1 Codex high + 使用工具
70.4
2025-11-14
未知
SWE-bench Verified得分 70.4
发布时间 2025-11-14
参数(亿) 未知
查看模型详情
21
70.3
2025-02-25
未知
SWE-bench Verified得分 70.3
发布时间 2025-02-25
参数(亿) 未知
查看模型详情
22
69.6
2025-09-05
未知
SWE-bench Verified得分 69.6
发布时间 2025-09-05
参数(亿) 未知
查看模型详情
23
MiniMaxAI Logo
MiniMax M2 thinking + 使用工具
69.4
2025-10-27
2300.0
SWE-bench Verified得分 69.4
发布时间 2025-10-27
参数(亿) 2300.0
查看模型详情
24
69.2
2025-09-05
10000.0
SWE-bench Verified得分 69.2
发布时间 2025-09-05
参数(亿) 10000.0
查看模型详情
25
Moonshot AI Logo
Kimi K2 0905 thinking + 使用工具
69.2
2025-09-05
10000.0
SWE-bench Verified得分 69.2
发布时间 2025-09-05
参数(亿) 10000.0
查看模型详情
26
OpenAI Logo
OpenAI o3 thinking
69.1
2025-04-16
未知
SWE-bench Verified得分 69.1
发布时间 2025-04-16
参数(亿) 未知
查看模型详情
27
68.4
2025-09-22
6710.0
SWE-bench Verified得分 68.4
发布时间 2025-09-22
参数(亿) 6710.0
查看模型详情
28
68.1
2025-04-16
未知
SWE-bench Verified得分 68.1
发布时间 2025-04-16
参数(亿) 未知
查看模型详情
29
智谱AI Logo
GLM-4.6 thinking + 使用工具
68.0
2025-09-30
3550.0
SWE-bench Verified得分 68.0
发布时间 2025-09-30
参数(亿) 3550.0
查看模型详情
30
68.0
2025-09-30
3550.0
SWE-bench Verified得分 68.0
发布时间 2025-09-30
参数(亿) 3550.0
查看模型详情
31
DeepSeek-AI Logo
DeepSeek V3.2-Exp thinking + 使用工具
67.8
2025-09-29
6710.0
SWE-bench Verified得分 67.8
发布时间 2025-09-29
参数(亿) 6710.0
查看模型详情
32
Google Deep Mind Logo
Gemini 2.5-Pro thinking
67.2
2025-06-05
未知
SWE-bench Verified得分 67.2
发布时间 2025-06-05
参数(亿) 未知
查看模型详情
33
67.0
2025-07-23
4800.0
SWE-bench Verified得分 67.0
发布时间 2025-07-23
参数(亿) 4800.0
查看模型详情
34
66.0
2025-08-20
6710.0
SWE-bench Verified得分 66.0
发布时间 2025-08-20
参数(亿) 6710.0
查看模型详情
35
64.8
2025-09-30
未知
SWE-bench Verified得分 64.8
发布时间 2025-09-30
参数(亿) 未知
查看模型详情
36
智谱AI Logo
GLM-4.5 thinking
64.2
2025-07-28
3550.0
SWE-bench Verified得分 64.2
发布时间 2025-07-28
参数(亿) 3550.0
查看模型详情
37
63.8
2025-03-25
未知
SWE-bench Verified得分 63.8
发布时间 2025-03-25
参数(亿) 未知
查看模型详情
38
63.2
2025-05-06
未知
SWE-bench Verified得分 63.2
发布时间 2025-05-06
参数(亿) 未知
查看模型详情
39
61.6
2025-07-10
未知
SWE-bench Verified得分 61.6
发布时间 2025-07-10
参数(亿) 未知
查看模型详情
40
60.6
2025-10-15
未知
SWE-bench Verified得分 60.6
发布时间 2025-10-15
参数(亿) 未知
查看模型详情
41
OpenAI Logo
GPT OSS 120B thinking
60.1
2025-08-06
117.0
SWE-bench Verified得分 60.1
发布时间 2025-08-06
参数(亿) 117.0
查看模型详情
42
xAI Logo
Grok 4 thinking
58.6
2025-07-10
未知
SWE-bench Verified得分 58.6
发布时间 2025-07-10
参数(亿) 未知
查看模型详情
43
57.6
2025-05-28
6710.0
SWE-bench Verified得分 57.6
发布时间 2025-05-28
参数(亿) 6710.0
查看模型详情
44
智谱AI Logo
GLM-4.5-Air thinking
57.6
2025-07-28
1060.0
SWE-bench Verified得分 57.6
发布时间 2025-07-28
参数(亿) 1060.0
查看模型详情
45
56.0
2025-06-16
4560.0
SWE-bench Verified得分 56.0
发布时间 2025-06-16
参数(亿) 4560.0
查看模型详情
46
55.6
2025-06-16
4560.0
SWE-bench Verified得分 55.6
发布时间 2025-06-16
参数(亿) 4560.0
查看模型详情
47
54.6
2025-04-14
未知
SWE-bench Verified得分 54.6
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
48
54.0
2025-09-25
未知
SWE-bench Verified得分 54.0
发布时间 2025-09-25
参数(亿) 未知
查看模型详情
49
53.6
2025-07-10
240.0
SWE-bench Verified得分 53.6
发布时间 2025-07-10
参数(亿) 240.0
查看模型详情
50
51.8
2025-07-11
10000.0
SWE-bench Verified得分 51.8
发布时间 2025-07-11
参数(亿) 10000.0
查看模型详情
51
51.6
2025-07-31
305.0
SWE-bench Verified得分 51.6
发布时间 2025-07-31
参数(亿) 305.0
查看模型详情
52
50.0
2025-04-17
未知
SWE-bench Verified得分 50.0
发布时间 2025-04-17
参数(亿) 未知
查看模型详情
53
49.3
2025-01-31
未知
SWE-bench Verified得分 49.3
发布时间 2025-01-31
参数(亿) 未知
查看模型详情
54
49.2
2025-01-20
6710.0
SWE-bench Verified得分 49.2
发布时间 2025-01-20
参数(亿) 6710.0
查看模型详情
55
49.0
2024-10-22
未知
SWE-bench Verified得分 49.0
发布时间 2024-10-22
参数(亿) 未知
查看模型详情
56
48.9
2024-12-05
未知
SWE-bench Verified得分 48.9
发布时间 2024-12-05
参数(亿) 未知
查看模型详情
57
48.9
2025-04-17
未知
SWE-bench Verified得分 48.9
发布时间 2025-04-17
参数(亿) 未知
查看模型详情
58
46.8
2025-05-26
240.0
SWE-bench Verified得分 46.8
发布时间 2025-05-26
参数(亿) 240.0
查看模型详情
59
OpenAI Logo
OpenAI o3-mini thinking
40.8
2025-01-31
未知
SWE-bench Verified得分 40.8
发布时间 2025-01-31
参数(亿) 未知
查看模型详情
60
38.8
2025-03-24
6710.0
SWE-bench Verified得分 38.8
发布时间 2025-03-24
参数(亿) 6710.0
查看模型详情
61
38.0
2025-02-28
未知
SWE-bench Verified得分 38.0
发布时间 2025-02-28
参数(亿) 未知
查看模型详情
62
34.4
2025-04-28
2350.0
SWE-bench Verified得分 34.4
发布时间 2025-04-28
参数(亿) 2350.0
查看模型详情
63
31.0
2024-05-13
未知
SWE-bench Verified得分 31.0
发布时间 2024-05-13
参数(亿) 未知
查看模型详情
64
27.6
2025-06-17
未知
SWE-bench Verified得分 27.6
发布时间 2025-06-17
参数(亿) 未知
查看模型详情
65
23.6
2025-04-14
未知
SWE-bench Verified得分 23.6
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
66
21.4
2024-12-11
未知
SWE-bench Verified得分 21.4
发布时间 2024-12-11
参数(亿) 未知
查看模型详情