IMO-ProofBench 评测基准详情
IMO-Bench 是 Google DeepMind 开发的一套基准测试套件,针对国际数学奥林匹克(IMO)水平的数学问题设计,用于评估大型语言模型在数学推理方面的能力。该基准包括三个子基准:AnswerBench、ProofBench 和 GradingBench,涵盖从短答案验证到完整证明生成和评分的全过程。发布于 2025 年 11 月,该基准通过专家审核的问题集,帮助模型实现 IMO 金牌级别的性能,并提供自动评分机制以支持大规模评估。
Views219
问题数量
60
发布机构
Google Deep Mind
评测类别
数学推理
评测指标
Accuracy
支持语言
英文
难度等级
高难度
简介
谷歌发布的用于评估大型语言模型生成完整、逻辑严谨的数学证明能力大模型评测基准
相关资源
IMO-ProofBench 大模型得分排行榜
数据来源:DataLearnerAI
模式说明:
normal
thinking
low
medium
high
deeper thinking
parallel_thinking
图表加载中...
详细评测数据
IMO-ProofBench详细排名数据表格
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | DeepSeekMath-V2high | 99 | 2025-11-27 | 6850 |
| 2 | GPT-5thinking | 59 | 2025-08-07 | 未知 |
| 3 | Gemini 2.5-Prothinking | 55.2 | 2025-06-05 | 未知 |
| 4 | Grok 4thinking | 46.7 | 2025-07-10 | 未知 |
| 5 | Gemini 2.5 Deep Thinkthinking | 37.6 | 2025-08-01 | 未知 |
| 6 | Qwen3-235B-A22B-Thinkingthinking | 33.3 | 2025-07-30 | 305 |
| 7 | DeepSeek-R1-0528thinking | 29 | 2025-05-28 | 6710 |
| 8 | Claude Sonnet 4thinking | 27.1 | 2025-05-23 | 未知 |
| 9 | Claude Sonnet 4.5thinking | 27.1 | 2025-09-30 | 未知 |
| 10 | Grok 4deeper thinking | 23.3 | 2025-07-10 | 未知 |
| 11 | OpenAI o3thinking | 20.5 | 2025-04-16 | 未知 |
| 12 | OpenAI o4 - minihigh | 11.4 | 2025-04-16 | 未知 |
| 13 | 7.1 | 2025-09-05 | 10000 | |
| 14 | 5.2 | 2025-09-23 | 2350 | |
| 15 | 4.3 | 2025-03-24 | 6710 | |
| 16 | Claude Opus 4thinking | 2.9 | 2025-05-23 | 未知 |