加载中...
加载中...
一个包含 164 个手写编程问题的基准，用于评估模型生成代码的能力。
Source: DataLearnerAI
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | OpenAI o3-mini (high)default | 97.6 | 2025-01-31 | 未知 |
| 2 | Claude 3.5 Sonnet Newdefault | 93.7 | 2024-10-22 | 未知 |
| 3 | OpenAI o1-minidefault | 92.4 | 2024-09-12 | 未知 |
| 4 | Claude 3.5 Sonnetdefault | 92 | 2024-06-21 | 未知 |
| 5 | Hunyuan-TurboSdefault | 91 | 2025-03-10 | 未知 |
| 6 | GPT-4o(2024-11-20)default | 90.2 | 2024-11-20 | 未知 |
| 7 | GPT-4odefault | 90 | 2024-05-13 | 未知 |
| 8 | Gemini 1.5 Prodefault | 89 | 2024-02-15 | 未知 |
| 9 | Llama3.1-405B Instructdefault | 89 | 2024-07-23 | 4050 |
| 10 | Amazon Nova Prodefault | 89 | 2024-12-03 | 未知 |
| 11 | DeepSeek-V3default | 89 | 2024-12-26 | 6810 |
| 12 | 88.41 | 2025-03-17 | 240 | |
| 13 | Qwen2.5-32Bdefault | 88.4 | 2024-09-18 | 320 |
| 14 | Llama3.3-70B-Instructdefault | 88.4 | 2024-12-06 | 700 |
| 15 | Grok 2default | 88.4 | 2024-08-13 | 2690 |
| 16 | Claude 3.5 Haikudefault | 88.1 | 2024-10-22 | 未知 |
| 17 | Gemma 3 - 27B (IT)default | 87.8 | 2025-03-12 | 270 |
| 18 | GPT-4o minidefault | 87.2 | 2024-07-18 | 未知 |
| 19 | Codestral 25.01default | 86.6 | 2025-01-13 | 未知 |
| 20 | Claude3-Opusdefault | 84.9 | 2024-03-04 | 未知 |
| 21 | Codestraldefault | 81.1 | 2024-05-29 | 220 |
| 22 | Llama3.1-70B-Instructdefault | 80.5 | 2024-07-23 | 700 |
| 23 | Phi-4-mini-instruct (3.8B)default | 74.4 | 2025-02-27 | 38 |
| 24 | Grok-1.5default | 74.1 | 2024-03-29 | 未知 |
| 25 | Qwen2.5-Maxdefault | 73.2 | 2025-01-28 | 未知 |
| 26 | Llama3.1-8B-Instructdefault | 66.5 | 2024-07-23 | 80 |
| 27 | C4AI Aya Vision 32Bdefault | 62.2 | 2025-03-04 | 320 |
| 28 | Qwen2.5-72Bdefault | 59.1 | 2024-09-18 | 727 |
| 29 | Qwen2.5-7Bdefault | 57.9 | 2024-09-18 | 70 |
| 30 | Moonlight-16B-A3B-Instructdefault | 48.1 | 2025-02-23 | 160 |