SWE-bench Verified 大模型得分排行榜
数据来源:DataLearnerAI
SWE-bench Verified详细排名数据表格
排名
模型
得分
发布时间
参数(亿)
在人工智能领域,随着大型语言模型(LLMs)在各类任务中的表现不断提升,评估这些模型的实际能力变得尤为重要。尤其是在软件工程领域,AI 模型是否能够准确地解决真实的编程问题,是衡量其真正应用潜力的关键。而在这方面,OpenAI 推出的 *SWE-bench Verified* 基准测试,旨在提供一个更加可靠和精确的评估工具,帮助开发者和研究者全面了解 AI 模型在处理软件工程任务时的能力。
不同模式会显著影响成绩,请在对比榜单时留意标签提示。
提示:若某条记录未显示任何标签,即默认是 normal 常规模式。
常规推理:单步推理,不延长思考、也不调用额外工具。
Thinking 系列:常规延长思考时间,low/medium/high 代表不同耗时或深度,各厂商叫法不同。
Deeper thinking:在 Thinking 基础上进一步延长思考链条,通常意味着更多算力与时间。
允许调用检索、浏览器、代码解释器等外部能力。
并行思考:多线程/多代理协同探索再汇总,通常只在厂商内部实验环境中启用、尚未对外开放,因此被视为“作弊”模式。
数据来源:DataLearnerAI