IMO-Bench：谷歌发布的用于大模型数学推理的鲁棒评估基准

IMO-Bench 是 Google DeepMind 开发的一套基准测试套件，针对国际数学奥林匹克（IMO）水平的数学问题设计，用于评估大型语言模型在数学推理方面的能力。该基准包括三个子基准：AnswerBench、ProofBench 和 GradingBench，涵盖从短答案验证到完整证明生成和评分的全过程。发布于 2025 年 11 月，该基准通过专家审核的问题集，帮助模型实现 IMO 金牌级别的性能，并提供自动评分机制以支持大规模评估。

关于IMO-ProofBench的详细评测排行榜参考DataLearnerAI的大模型IMO-ProofBench评测排行榜：https://www.datalearner.com/benchmarks/imo-proof-bench

AI 数学评测的当前挑战

当前的大模型数学评测基准存在多项局限性。首先，许多基准的问题难度较低，仅涉及基本公式应用，无法反映 IMO 级别的多步推理和创造性要求。其次，现有的评估方法多局限于最终短答案的正确性匹配，忽略了推理过程的严谨性和完整性，导致模型可能通过记忆或模式匹配获得高分，而非真正理解数学结构。此外，缺乏可靠的自动评分工具，使得对长形式证明的评估依赖人工，限制了基准的扩展性和实用性。这些问题阻碍了对模型鲁棒数学推理能力的全面衡量。

IMO-Bench 的背景与目标

IMO-Bench 由 Google DeepMind 的研究团队开发，包括 Thang Luong、Dawsen Hwang 等作者，于 2025 年 11 月在 arXiv（2511.01846v1）发布，相关论文标题为《Towards Robust Mathematical Reasoning》。基准的问题集经 IMO 金银牌获得者组成的专家小组审核，总计超过 1400 个实例，来源于过去奥林匹克竞赛，但经修改以避免模型记忆。

该基准旨在解决现有评测的不足，具体目标包括：构建覆盖 IMO 难度的多样化问题集；引入证明生成和评分环节，以评估模型的深度推理能力；开发自动评分器，与人类评分高度一致（Pearson 相关系数达 0.96），从而实现可扩展的评估流程。通过这些机制，IMO-Bench 支持模型向 IMO 金牌性能的迭代开发，并在 2025 年 IMO 中助力 Gemini Deep Think 模型取得金牌。

IMO-Bench 的设计与评估机制

IMO-Bench 采用分层设计，包含三个互补的子基准，每个子基准针对数学推理的不同方面。问题覆盖代数、组合学、几何和数论四大类别，按难度分为 Pre-IMO、IMO-Easy、IMO-Medium 和 IMO-Hard。这些类别和难度分布主要适用于 AnswerBench；ProofBench 和 GradingBench 则跨类别设计，但未提供逐类细分子分布。

AnswerBench

该子基准包含 400 个问题，焦点在于生成可验证的短答案。问题来源于国家、区域和国际奥林匹克竞赛，经手动或 LLM 辅助的鲁棒化处理（如改述、数值更改、添加干扰项），以确保新颖性和防止记忆。几何问题偏向角度或边长计算，以适应短答案格式。问题类型为短答案形式，原证明导向问题被改述为计数或求和任务，避免可猜测的“是/否”答案。

问题按类别均匀分布，每类 100 个。难度分布如下表所示：

评估方法为 AnswerAutoGrader，使用 Gemini 2.5 Pro 提取模型输出中的最终答案，并检查与参考答案的语义等价性（如代数或数值等价形式）。该方法与人类评估一致率达 98.9%。无部分分，仅二元正确/错误判断。

ProofBench

该子基准包含 60 个证明导向问题，分为 Basic 子集（30 个，Pre-IMO 至 IMO-Medium 难度，使用改述的现有问题）和 Advanced 子集（30 个，IMO-Hard 难度，包括 18 个专家新创问题、6 个 IMO 2024 鲁棒化问题和 6 个 USAMO 2025 问题）。模型需生成完整证明，即使问题有短答案，也要求展示逻辑论证、严谨步骤和原理应用。问题跨四类，反映 IMO 多样性，如函数方程、不等式、图论或不变量。常见模型错误包括无证明的假设或无推导的猜测。

评估方法结合人类专家和自动评分。人类专家按 0-7 分制评分（7 分：完全正确；6 分：几乎正确；1 分：部分进展，如关键结果；0 分：不正确），基于 IMO 风格的评分指南（详见表 3），验证逻辑有效性、完整性和严谨性。ProofAutoGrader 使用 Gemini 2.5 Pro，输入问题、候选解、参考解和指南，进行自动评估，与人类评分的相关性为 0.96（Basic）和 0.93（Advanced）。自动评分器有局限，如高估部分解或忽略非常规路径，但支持可扩展评估。分数为总可能分的百分比，按问题聚合以平滑噪声。

GradingBench

该子基准包含 1000 个实例，来源于 Advanced ProofBench 的模型解决方案，由人类按 0-7 分评分。任务为四分类：Correct（7 分）、Almost（6-4 分）、Partial（3-1 分）和 Incorrect（0 分）。输入仅为问题和拟解决方案，无参考解或指南，以测试模型的独立评估能力。实例按评分类别平衡，难度从 IMO-Easy 至 IMO-Hard。

评估方法为准确率（分类匹配人类标签）和平均绝对误差（MAE，将分类映射为分数 7/6/1/0，与人类 0-7 比较）。提示设计最小上下文（附录 C.3）。该基准用于训练自动评分模型，但当前模型准确率较低（最高 54.0%），MAE 为 20.2%，凸显长形式评估的难度。

整体流程为：模型接收问题提示，生成输出；AnswerBench 直接匹配答案；ProofBench 和 GradingBench 结合人类和自动评分，确保评估的可靠性和可重复性。

主流大模型在 IMO-Bench 上的表现

在 IMO-Bench 上，主流大模型的性能差异显著，尤其在 Advanced ProofBench 子集上。以下表格摘自官方 leaderboard，展示 15 个系统的 Advanced ProofBench 结果（人类专家评估，总分百分比，按新型、IMO 2024 和 USAMO 2025 问题细分）。测试日期为 2025 年夏季。

分析显示，Gemini Deep Think 在 AnswerBench 上得分 80.0%，领先非 Gemini 模型 6.9 个百分点；在 Advanced ProofBench 上领先 42.4 个百分点。其他模型如 GPT-5 和 Grok 4 在特定子集（如 USAMO）表现出色，但新型问题得分较低，表明潜在的过拟合。Basic ProofBench 上，大多数模型得分低于 60%，凸显高级推理的通用挑战。自动评分器的引入使评估更高效，但人类评分仍为标准。

IMO-Bench 的价值与未来方向

IMO-Bench 通过整合答案验证、证明生成和评分评估，提供了一个全面框架，用于追踪 AI 在数学领域的进步。该基准的开源发布，包括详细的评分指南和数据，允许社区扩展应用，并推动自动评估工具的开发。尽管当前模型在高级任务上仍有差距，但 Gemini Deep Think 的结果证明了基准在指导模型优化方面的作用。未来，IMO-Bench 可扩展至更多领域，推动 AI 向更鲁棒的推理系统演进。

关于IMO-ProofBench的详细评测排行榜参考DataLearnerAI的大模型IMO-ProofBench评测排行榜：https://www.datalearner.com/benchmarks/imo-proof-bench