DataLearner 标志

OpenAI o1 评测详情

OpenAI o1 当前已收录的代表性评测结果包括 MMLU Pro(1 / 126,得分 91.04)、MATH(2 / 42,得分 96.40)、MMLU(4 / 65,得分 91.80)。并附有 1 个数据来源链接供参考。

评测结果

OpenAI o1

评测结果

思考模式

综合评估

共 4 项评测
评测名称 / 模式
得分
排名/总数
91.80
4 / 65
91.04
1 / 126
77.30
88 / 180
9.10
141 / 163

数学推理

共 4 项评测
评测名称 / 模式
得分
排名/总数
96.40
2 / 42
96.40
17 / 44
79.20
31 / 62
9.30
30 / 60

常识问答

共 1 项评测
评测名称 / 模式
得分
排名/总数
42.60
17 / 45

编程与软件工程

共 3 项评测
评测名称 / 模式
得分
排名/总数
71
47 / 120
48.90
95 / 109
SWE-bench Verified
思考水平·高
41
98 / 109

常识推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
Simple Bench
思考水平·中
36.70
43 / 63
Simple Bench
思考水平·高
40.10
39 / 63

Agent能力评测

共 1 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
思考水平·高
61.70
19 / 59

数据来源