版本:CWE-bench v0 · CWE-bench v1(当前)
不同版本的分数默认不直接比较。
v0 (2026-09-01): 100 tasks / 54 CWEs, original verifiers. v1 (2026-09-25): 120 tasks / 73 CWEs, verifiers reviewed against a three-judge panel; scores are not comparable across editions.
CWE-bench v0 是 Collinear AI 于 2026-09-01 发布的首个版本:100 个保留的“审计并修补”任务,覆盖 54 种 CWE。智能体在不被告知 CVE 与漏洞类别的情况下审计真实开源仓库并修复漏洞,按确定性程序化验证计分(漏洞利用失效且既有测试全部通过),每题得分为通过验证的运行占比,榜单为 100 题平均 pass@1。v1 已复核并修订验证器,v0 分数偏低且与 v1 不可直接比较。
查看 CWE-bench v0 的最新得分、模型模式、发布时间与参数规模,快速了解当前完整榜单表现。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | 开源情况 | |||
|---|---|---|---|---|---|
![]() Claude Fable 5 思考水平·高工具 | 47.80 | 2026-06-09 | 未知 | 闭源 | |
![]() GPT-5.6 Sol 思考水平·高工具 | 44.20 | 2026-06-26 | 未知 | 闭源 | |
![]() Gemini 3.7 Flash 思考水平·高工具 | 44.00 | 2026-08-13 | 未知 | 闭源 | |
4 | ![]() Claude Opus 4.8 思考水平·高工具 | 42.00 | 2026-05-28 | 未知 | 闭源 |
5 | Grok 4.6 思考水平·高工具 | 38.20 | 2026-08-12 | 未知 | 闭源 |
6 | ![]() Qwen3.8-Max 思考水平·高工具 | 37.50 | 2026-08-03 | 24000亿 | 有条件商用 |
7 | ![]() Hy4 preview 思考水平·高工具 | 33.80 | 2026-08-28 | 7700亿 | 免费商用 |
8 | ![]() GLM-5.3 思考水平·高工具 | 31.10 | 2026-08-14 | 7440亿 | 有条件商用 |
9 | ![]() Muse Spark 1.2 思考水平·高工具 | 30.30 | 2026-08-05 | 未知 | 闭源 |
10 | ![]() MiniMax M3 思考水平·高工具 | 22.70 | 2026-06-01 | 4280亿 | 非商用 |
11 | ![]() Kimi K3 思考水平·高工具 | 22.50 | 2026-07-16 | 28000亿 | 有条件商用 |
12 | ![]() Nemotron 3 Ultra 思考水平·高工具 | 18.50 | 2026-06-04 | 5500亿 | 免费商用 |
13 | Inkling 思考水平·高工具 | 15.60 | 2026-07-15 | 9750亿 | 免费商用 |