NL2Repo-Bench evaluates whether coding agents can build a complete, installable Python repository from a natural-language specification and an empty workspace. The 104 tasks are graded against upstream pytest suites.
查看 NL2Repo-Bench 的最新得分、模型模式、发布时间与参数规模，快速了解当前完整榜单表现。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | 开源情况 | |||
|---|---|---|---|---|---|
 DeepSeek-V4-Flash 思考水平·Max工具 | 54.20 | 2026-04-24 | 2840亿 | 免费商用 |
DeepSeek-V4-Flash-0731 官方发布成绩：54.2（2026-07-31，DeepSeek Harness minimal，max effort，temperature=1.0，top_p=0.95）。
