加载中...
加载中...
Aider 是一个在终端里进行结对编程的开源工具。为评估不同大模型在“按照指令对代码进行实际可落地的编辑”上的能力,Aider 提出并维护了公开基准与排行榜,用于比较模型在无人工干预下完成代码修改任务的可靠性与成功率。该评测已被多家模型提供方在技术说明中引用,用作代码编辑与指令遵循能力的对照指标。
一个用于评估大模型在“按照指令对代码进行实际可落地的编辑”上的能力的评测基准
数据来源:DataLearnerAI
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | o3-prohigh | 84.9 | 2025-06-10 | 未知 |
| 2 | Gemini 2.5-Prothinking | 83.1 | 2025-06-05 | 未知 |
| 3 | OpenAI o3high | 81.3 | 2025-04-16 | 未知 |
| 4 | Grok 4thinking | 79.6 | 2025-07-10 | 未知 |
| 5 | DeepSeek-V3.1thinking | 76.3 | 2025-08-20 | 6710 |
| 6 | 76.1 | 2025-09-22 | 6710 | |
| 7 | DeepSeek V3.2-Expthinking + 使用工具 | 74.5 | 2025-09-29 | 6710 |
| 8 | OpenAI o4 - minihigh | 72 | 2025-04-16 | 未知 |
| 9 | Claude Opus 4thinking | 72 | 2025-05-23 | 未知 |
| 10 | DeepSeek-R1-0528thinking | 71.4 | 2025-05-28 | 6710 |
| 11 | 70.1 | 2025-05-23 | 未知 | |
| 12 | 68.4 | 2025-08-20 | 6710 | |
| 13 | Claude Sonnet 3.7thinking | 64.9 | 2025-02-25 | 未知 |
| 14 | Claude Sonnet 4thinking | 61.3 | 2025-05-23 | 未知 |
| 15 | 60.4 | 2025-02-25 | 未知 | |
| 16 | 59.1 | 2025-07-11 | 10000 | |
| 17 | Gemini 2.5 Flashthinking | 56.7 | 2025-04-17 | 未知 |
| 18 | 55.1 | 2025-03-24 | 6710 | |
| 19 | 51.6 | 2024-10-22 | 未知 | |
| 20 | 49.8 | 2025-09-11 | 800 | |
| 21 | Qwen3-32Bthinking | 40 | 2025-04-28 | 320 |
| 22 | 27.1 | 2025-03-27 | 未知 |