IMO-Bench：谷歌发布的用于大模型数学推理的鲁棒评估基准

IMO-Bench 是 Google DeepMind 开发的一套基准测试套件，针对国际数学奥林匹克（IMO）水平的数学问题设计，用于评估大型语言模型在数学推理方面的能力。该基准包括三个子基准：AnswerBench、ProofBench 和 GradingBench，涵盖从短答案验证到完整证明生成和评分的全过程。发布于 2025 年 11 月，该基准通过专家审核的问题集，帮助模型实现 IMO 金牌级别的性能，并提供自动评分机制以支持大规模评估。

关于IMO-ProofBench的详细评测排行榜参考DataLearnerAI的大模型IMO-ProofBench评测排行榜：https://www.datalearner.com/benchmarks/imo-proof-bench

AI 数学评测的当前挑战

当前的大模型数学评测基准存在多项局限性。首先，许多基准的问题难度较低，仅涉及基本公式应用，无法反映 IMO 级别的多步推理和创造性要求。其次，现有的评估方法多局限于最终短答案的正确性匹配，忽略了推理过程的严谨性和完整性，导致模型可能通过记忆或模式匹配获得高分，而非真正理解数学结构。此外，缺乏可靠的自动评分工具，使得对长形式证明的评估依赖人工，限制了基准的扩展性和实用性。这些问题阻碍了对模型鲁棒数学推理能力的全面衡量。

IMO-Bench 的背景与目标

IMO-Bench 由 Google DeepMind 的研究团队开发，包括 Thang Luong、Dawsen Hwang 等作者，于 2025 年 11 月在 arXiv（2511.01846v1）发布，相关论文标题为《Towards Robust Mathematical Reasoning》。基准的问题集经 IMO 金银牌获得者组成的专家小组审核，总计超过 1400 个实例，来源于过去奥林匹克竞赛，但经修改以避免模型记忆。

该基准旨在解决现有评测的不足，具体目标包括：构建覆盖 IMO 难度的多样化问题集；引入证明生成和评分环节，以评估模型的深度推理能力；开发自动评分器，与人类评分高度一致（Pearson 相关系数达 0.96），从而实现可扩展的评估流程。通过这些机制，IMO-Bench 支持模型向 IMO 金牌性能的迭代开发，并在 2025 年 IMO 中助力 Gemini Deep Think 模型取得金牌。

IMO-Bench 的设计与评估机制

IMO-Bench 采用分层设计，包含三个互补的子基准，每个子基准针对数学推理的不同方面。问题覆盖代数、组合学、几何和数论四大类别，按难度分为 Pre-IMO、IMO-Easy、IMO-Medium 和 IMO-Hard。这些类别和难度分布主要适用于 AnswerBench；ProofBench 和 GradingBench 则跨类别设计，但未提供逐类细分子分布。