加载中...
加载中...
随着大型语言模型(LLM)能力的飞速发展,如何科学、准确地评估其性能,特别是深度的逻辑推理和代码生成能力,已成为人工智能领域的一大挑战。传统的评测基准在面对日益强大的模型时,逐渐暴露出数据污染、难度不足、无法有效评估真实推理能力等问题。在这一背景下,一个旨在检验模型竞赛级编程水平的评测基准——Codeforces应运而生,为我们提供了一个更严苛、更接近人类程序员真实水平的竞技场。
一个使用编程竞赛题目测试大模型代码生成能力的评测基准
数据来源:DataLearnerAI
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | OpenAI o4 - minithinking + 使用工具 | 2719 | 2025-04-16 | 未知 |
| 2 | DeepSeek V3.2 Specialethinking | 2701 | 2025-12-01 | 未知 |
| 3 | GPT OSS 120Bthinking + 使用工具 | 2622 | 2025-08-06 | 117 |
| 4 | GPT OSS 20Bthinking + 使用工具 | 2516 | 2025-08-06 | 210 |
| 5 | GPT OSS 120Bthinking | 2463 | 2025-08-06 | 117 |
| 6 | DeepSeek V3.2thinking | 2386 | 2025-12-01 | 6710 |
| 7 | GPT OSS 20Bthinking | 2230 | 2025-08-06 | 210 |
| 8 | OpenAI o3-minithinking | 2073 | 2025-01-31 | 未知 |