DataLearner 标志

OpenAI o1-mini 评测详情

OpenAI o1-mini 当前已收录的代表性评测结果包括 HumanEval(8 / 140,得分 92.40)、MMLU(42 / 124,得分 85.20)、MMLU-Pro(64 / 176,得分 80.30)。

评测结果

OpenAI o1-mini

评测结果

思考模式

综合评估

共 3 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
85.20
42 / 124
MMLU-Pro
常规模式
80.30
64 / 176
HLE
开启思考
3.60
547 / 565

编程与软件工程

共 3 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
92.40
8 / 140
LiveCodeBench
常规模式
52
159 / 251
LiveCodeBench
开启思考
57.60
139 / 251

科学与综合推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
常规模式
60
381 / 463
GPQA Diamond
开启思考
60.30
378 / 463

数学推理

共 4 项评测
评测名称 / 模式
得分
排名/总数
MATH-500
常规模式
90
39 / 46
AIME 2024
常规模式
63.60
41 / 62
FrontierMath
思考水平·中
1.70
49 / 60
FrontierMath
思考水平·高
1.40
51 / 60

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
SimpleBench
常规模式
18.10
91 / 93

Agent能力评测

共 1 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
常规模式
32.90
42 / 59