DataLearner 标志

OpenAI o1 评测详情

OpenAI o1 当前已收录的代表性评测结果包括 MMLU Pro(1 / 133,得分 91.04)、MATH(2 / 42,得分 96.40)、MMLU(4 / 66,得分 91.80)。并附有 1 个数据来源链接供参考。

评测结果

OpenAI o1

评测结果

思考模式
工具使用

综合评估

共 3 项评测
评测名称 / 模式
得分
排名/总数
91.80
4 / 66
91.04
1 / 133
9.10
159 / 181

数学推理

共 4 项评测
评测名称 / 模式
得分
排名/总数
96.40
2 / 42
96.40
17 / 44
79.20
31 / 62
9.30
30 / 60

科学与综合推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
77.30
131 / 226

常识问答

共 1 项评测
评测名称 / 模式
得分
排名/总数
42.60
19 / 47

编程与软件工程

共 4 项评测
评测名称 / 模式
得分
排名/总数
71
50 / 126
48.90
100 / 114
SWE-bench Verified
思考水平·高
41
103 / 114
WeirdML v2
思考水平·高工具
43.82
43 / 52

常识推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
SimpleBench
思考水平·中
36.70
47 / 67
SimpleBench
思考水平·高
40.10
43 / 67

Agent能力评测

共 2 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
思考水平·高
61.70
19 / 59
METR Time Horizons v1.1
思考水平·中工具
39.21
18 / 22

多模态理解

共 2 项评测
评测名称 / 模式
得分
排名/总数
GeoBench ACW
思考水平·中
80
8 / 20
VPCT
思考水平·中
37
21 / 24

长上下文

共 1 项评测
评测名称 / 模式
得分
排名/总数
Fiction.liveBench
思考水平·中
83.30
8 / 16

数据来源