SWE-bench Verified 评测基准详情

在人工智能领域，随着大型语言模型（LLMs）在各类任务中的表现不断提升，评估这些模型的实际能力变得尤为重要。尤其是在软件工程领域，AI 模型是否能够准确地解决真实的编程问题，是衡量其真正应用潜力的关键。而在这方面，OpenAI 推出的 *SWE-bench Verified* 基准测试，旨在提供一个更加可靠和精确的评估工具，帮助开发者和研究者全面了解 AI 模型在处理软件工程任务时的能力。

Software Engineering Bench - Verified

OpenAI基于SWE-Bench提炼的更加准确和更具代表性的大模型代码工程任务解决能力评测

问题数量 500
发布机构 OpenAI
评测类别 代码生成
评测指标 Accuracy
支持语言 英文
难度等级 高难度

SWE-bench Verified 大模型得分排行榜

数据来源：DataLearnerAI

排名
模型
得分
发布时间
参数(亿)
1
OpenAI Logo
o3-pro
75.0
2025-06-10
未知
SWE-bench Verified得分 75.0
发布时间 2025-06-10
参数(亿) 未知
查看模型详情
2
OpenAI Logo
GPT-5 thinking
74.9
2025-08-07
0.0
SWE-bench Verified得分 74.9
发布时间 2025-08-07
参数(亿) 0.0
查看模型详情
3
Anthropic Logo
Claude Opus 4.1 thinking + 使用工具
74.5
2025-08-06
0.0
SWE-bench Verified得分 74.5
发布时间 2025-08-06
参数(亿) 0.0
查看模型详情
4
xAI Logo
Grok 4 Heavy
73.5
2025-07-10
0.0
SWE-bench Verified得分 73.5
发布时间 2025-07-10
参数(亿) 0.0
查看模型详情
5
Anthropic Logo
Claude Sonnet 4
72.7
2025-05-23
未知
SWE-bench Verified得分 72.7
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
6
Anthropic Logo
Claude Opus 4
72.5
2025-05-23
未知
SWE-bench Verified得分 72.5
发布时间 2025-05-23
参数(亿) 未知
查看模型详情
7
xAI Logo
Grok 4 Code
72.0
2025-07-03
0.0
SWE-bench Verified得分 72.0
发布时间 2025-07-03
参数(亿) 0.0
查看模型详情
8
Anthropic Logo
Claude Sonnet 3.7
70.3
2025-02-25
未知
SWE-bench Verified得分 70.3
发布时间 2025-02-25
参数(亿) 未知
查看模型详情
9
OpenAI Logo
OpenAI o3 thinking
69.1
2025-04-16
0.0
SWE-bench Verified得分 69.1
发布时间 2025-04-16
参数(亿) 0.0
查看模型详情
10
OpenAI Logo
OpenAI o4 - mini thinking
68.1
2025-04-16
未知
SWE-bench Verified得分 68.1
发布时间 2025-04-16
参数(亿) 未知
查看模型详情
11
Google Deep Mind Logo
Gemini-2.5-Pro thinking
67.2
2025-06-05
0.0
SWE-bench Verified得分 67.2
发布时间 2025-06-05
参数(亿) 0.0
查看模型详情
12
阿里巴巴 Logo
Qwen3-Coder-480B-A35B
67.0
2025-07-23
4800.0
SWE-bench Verified得分 67.0
发布时间 2025-07-23
参数(亿) 4800.0
查看模型详情
13
智谱AI Logo
GLM-4.5 thinking
64.2
2025-07-28
3550.0
SWE-bench Verified得分 64.2
发布时间 2025-07-28
参数(亿) 3550.0
查看模型详情
14
Google Deep Mind Logo
Gemini 2.5 Flash
63.8
2025-04-17
未知
SWE-bench Verified得分 63.8
发布时间 2025-04-17
参数(亿) 未知
查看模型详情
15
Google Deep Mind Logo
Gemini 2.5 Pro Experimental 03-25
63.8
2025-03-25
0.0
SWE-bench Verified得分 63.8
发布时间 2025-03-25
参数(亿) 0.0
查看模型详情
16
Google Deep Mind Logo
Gemini-2.5-Pro-Preview-05-06
63.2
2025-05-06
未知
SWE-bench Verified得分 63.2
发布时间 2025-05-06
参数(亿) 未知
查看模型详情
17
MistralAI Logo
Devstral Medium
61.6
2025-07-10
0.0
SWE-bench Verified得分 61.6
发布时间 2025-07-10
参数(亿) 0.0
查看模型详情
18
OpenAI Logo
GPT OSS 120B thinking
60.1
2025-08-06
117.0
SWE-bench Verified得分 60.1
发布时间 2025-08-06
参数(亿) 117.0
查看模型详情
19
xAI Logo
Grok 4 thinking
58.6
2025-07-10
0.0
SWE-bench Verified得分 58.6
发布时间 2025-07-10
参数(亿) 0.0
查看模型详情
20
DeepSeek-AI Logo
DeepSeek-R1-0528 thinking
57.6
2025-05-28
6710.0
SWE-bench Verified得分 57.6
发布时间 2025-05-28
参数(亿) 6710.0
查看模型详情
21
智谱AI Logo
GLM-4.5-Air thinking
57.6
2025-07-28
1060.0
SWE-bench Verified得分 57.6
发布时间 2025-07-28
参数(亿) 1060.0
查看模型详情
22
MiniMaxAI Logo
MiniMax-M1-80k
56.0
2025-06-16
4560.0
SWE-bench Verified得分 56.0
发布时间 2025-06-16
参数(亿) 4560.0
查看模型详情
23
MiniMaxAI Logo
MiniMax-M1-40k
55.6
2025-06-16
4560.0
SWE-bench Verified得分 55.6
发布时间 2025-06-16
参数(亿) 4560.0
查看模型详情
24
OpenAI Logo
GPT-4.1
54.6
2025-04-14
未知
SWE-bench Verified得分 54.6
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
25
MistralAI Logo
Devstral Small 1.1
53.6
2025-07-10
240.0
SWE-bench Verified得分 53.6
发布时间 2025-07-10
参数(亿) 240.0
查看模型详情
26
Moonshot AI Logo
Kimi K2
51.8
2025-07-11
10000.0
SWE-bench Verified得分 51.8
发布时间 2025-07-11
参数(亿) 10000.0
查看模型详情
27
阿里巴巴 Logo
Qwen3-Coder-Flash
51.6
2025-07-31
305.0
SWE-bench Verified得分 51.6
发布时间 2025-07-31
参数(亿) 305.0
查看模型详情
28
OpenAI Logo
OpenAI o3-mini (high)
49.3
2025-01-31
未知
SWE-bench Verified得分 49.3
发布时间 2025-01-31
参数(亿) 未知
查看模型详情
29
DeepSeek-AI Logo
DeepSeek-R1
49.2
2025-01-20
6710.0
SWE-bench Verified得分 49.2
发布时间 2025-01-20
参数(亿) 6710.0
查看模型详情
30
Anthropic Logo
Claude 3.5 Sonnet New
49.0
2024-10-22
0.0
SWE-bench Verified得分 49.0
发布时间 2024-10-22
参数(亿) 0.0
查看模型详情
31
OpenAI Logo
OpenAI o1
48.9
2024-12-05
未知
SWE-bench Verified得分 48.9
发布时间 2024-12-05
参数(亿) 未知
查看模型详情
32
MistralAI Logo
Devstral Small 1.0
46.8
2025-05-26
240.0
SWE-bench Verified得分 46.8
发布时间 2025-05-26
参数(亿) 240.0
查看模型详情
33
OpenAI Logo
OpenAI o3-mini thinking
40.8
2025-01-31
0.0
SWE-bench Verified得分 40.8
发布时间 2025-01-31
参数(亿) 0.0
查看模型详情
34
DeepSeek-AI Logo
DeepSeek-V3-0324
38.8
2025-03-24
6810.0
SWE-bench Verified得分 38.8
发布时间 2025-03-24
参数(亿) 6810.0
查看模型详情
35
OpenAI Logo
GPT-4.5
38.0
2025-02-28
未知
SWE-bench Verified得分 38.0
发布时间 2025-02-28
参数(亿) 未知
查看模型详情
36
阿里巴巴 Logo
Qwen3-235B-A22B
34.4
2025-04-28
2350.0
SWE-bench Verified得分 34.4
发布时间 2025-04-28
参数(亿) 2350.0
查看模型详情
37
OpenAI Logo
GPT-4o
31.0
2024-05-13
0.0
SWE-bench Verified得分 31.0
发布时间 2024-05-13
参数(亿) 0.0
查看模型详情
38
Google Deep Mind Logo
Gemini 2.5 Flash-Lite
27.6
2025-06-17
未知
SWE-bench Verified得分 27.6
发布时间 2025-06-17
参数(亿) 未知
查看模型详情
39
OpenAI Logo
GPT-4.1 mini
23.6
2025-04-14
未知
SWE-bench Verified得分 23.6
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
40
DeepMind Logo
Gemini 2.0 Flash Experimental
21.4
2024-12-11
未知
SWE-bench Verified得分 21.4
发布时间 2024-12-11
参数(亿) 未知
查看模型详情
41
OpenAI Logo
GPT-5
0.0
2025-08-07
0.0
SWE-bench Verified得分 0.0
发布时间 2025-08-07
参数(亿) 0.0
查看模型详情
42
OpenAI Logo
GPT-5-mini
0.0
2025-08-07
0.0
SWE-bench Verified得分 0.0
发布时间 2025-08-07
参数(亿) 0.0
查看模型详情