DataLearner 标志

GPT-6 Astra 评测详情

GPT-6 Astra 当前已收录的代表性评测结果包括 MMMU-Pro(1 / 232,得分 86.90)、ARC-AGI-1(1 / 226,得分 98.50)、ARC-AGI-2(1 / 212,得分 95)。

评测结果

GPT-6 Astra

评测结果

思考模式
工具使用
联网能力

抽象归纳与泛化

共 26 项评测
评测名称 / 模式
得分
排名/总数
ARC-AGI-3
常规模式
96.72
6 / 35
ARC-AGI-3
常规模式
35.18
7 / 60
98.03
5 / 35
17.45
10 / 60
98.44
3 / 35
38.59
6 / 60
99.95
1 / 35
54.82
3 / 60
ARC-AGI-3
最高
98.55
2 / 35
ARC-AGI-3
最高
62.71
1 / 60
ARC-AGI-3
极高
98.44
3 / 35
ARC-AGI-3
极高
59.34
2 / 60
ARC-AGI-1
常规模式
86
104 / 226
ARC-AGI-1
低工具
96.50
24 / 226
ARC-AGI-1
中工具
97.50
11 / 226
ARC-AGI-1
高工具
98.50
1 / 226
ARC-AGI-1
最高
97.50
11 / 226
ARC-AGI-1
最高工具
97.50
11 / 226
ARC-AGI-1
极高
98.50
1 / 226
ARC-AGI-1
极高工具
98.50
1 / 226
ARC-AGI-2
常规模式
59.58
84 / 212
ARC-AGI-2
低工具
85.42
27 / 212
ARC-AGI-2
中工具
92.08
7 / 212
ARC-AGI-2
高工具
92.08
7 / 212
ARC-AGI-2
最高
95
1 / 212
ARC-AGI-2
极高工具
93.33
3 / 212

综合知识考试

共 2 项评测
评测名称 / 模式
得分
排名/总数
HLE
unknown
54.80
28 / 244
HLE
最高工具
57.20
20 / 244

写作与创意表达

共 1 项评测
评测名称 / 模式
得分
排名/总数
Creative Writing
常规模式
2173.30
1 / 112

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
83.60
4 / 95

事实查找与深度检索

共 1 项评测
评测名称 / 模式
得分
排名/总数
BrowseComp
最高工具
91.50
1 / 61

跨能力综合测试

共 1 项评测
评测名称 / 模式
得分
排名/总数
LiveBench
最高
82.16
4 / 157

自主开发与终端任务

共 10 项评测
评测名称 / 模式
得分
排名/总数
86.74
13 / 67
86.97
12 / 67
87.42
10 / 67
Terminal-Bench 2.1
最高工具
86.74
13 / 67
Terminal-Bench 2.1
极高工具
85.84
16 / 67
50.61
18 / 107
54.24
13 / 107
57.88
6 / 107
Terminal-Bench 4.0
最高工具
58.18
5 / 107
Terminal-Bench 4.0
极高工具
57.88
6 / 107

仓库修复与多文件工程

共 9 项评测
评测名称 / 模式
得分
排名/总数
96.90
4 / 10
90.20
3 / 12
DeepSWE
低工具
67.04
41 / 106
DeepSWE
中工具
72.79
17 / 106
DeepSWE
高工具
73.23
13 / 106
DeepSWE
最高工具
73.23
13 / 106
DeepSWE
极高工具
74.12
8 / 106
FrontierSWE v2
最高工具
65.51
1 / 22
APEX-SWE
最高工具
50
16 / 73

跨能力聚合指数

共 6 项评测
评测名称 / 模式
得分
排名/总数
ECI
unknown
166.60
1 / 168
Vals Index
最高工具
66.61
5 / 42
Vals Index v2.1
最高工具
63.13
6 / 37
55
1 / 2
52.67
4 / 34

桌面工作流

共 1 项评测
评测名称 / 模式
得分
排名/总数
OSWorld 2.0
最高工具
72.60
2 / 16

跨应用与工具编排

共 1 项评测
评测名称 / 模式
得分
排名/总数
Agents' Last Exam
最高工具
34.20
4 / 21

办公与文档流程

共 1 项评测
评测名称 / 模式
得分
排名/总数
AutomationBench
最高工具
41.40
20 / 35

图像感知与视觉推理

共 5 项评测
评测名称 / 模式
得分
排名/总数
84.60
10 / 232
85.10
6 / 232
86.40
2 / 232
MMMU-Pro
最高
86.90
1 / 232
MMMU-Pro
极高
86.20
3 / 232

科学知识与推理

共 6 项评测
评测名称 / 模式
得分
排名/总数
MysteryMechanism
最高工具
53.15
1 / 14
26.30
24 / 207
29.10
12 / 207
28.90
15 / 207
CritPt
最高
31.70
3 / 207
CritPt
极高
31.40
4 / 207

科学计算与科研编程

共 6 项评测
评测名称 / 模式
得分
排名/总数
68.10
1 / 18
54.10
49 / 136
54.20
48 / 136
55.40
37 / 136
SciCode
最高
56.50
26 / 136
SciCode
极高
55.70
34 / 136

客服与业务流程

共 6 项评测
评测名称 / 模式
得分
排名/总数
SAGE
最高工具
46.37
29 / 65
τ³-Banking
低工具
32
57 / 171
τ³-Banking
中工具
35.50
47 / 171
τ³-Banking
高工具
40
33 / 171
τ³-Banking
最高工具
41.40
28 / 171
τ³-Banking
极高工具
43.10
24 / 171

金融

共 3 项评测
评测名称 / 模式
得分
排名/总数
71.70
9 / 46
Tax Agent Bench
最高工具
63.34
12 / 21
Finance Agent v2
最高工具
53.54
26 / 46

法律

共 2 项评测
评测名称 / 模式
得分
排名/总数
39.42
22 / 46
5.42
25 / 50

数学

共 10 项评测
评测名称 / 模式
得分
排名/总数
99
3 / 29
FrontierMath Tier 4 v2
常规模式工具
82.93
13 / 71
87.80
10 / 71
97.56
6 / 71
97.60
2 / 71
97.60
2 / 71
97.60
2 / 71
97.60
2 / 71
FrontierMath v2
最高工具
93.68
1 / 114
2.94
1 / 5

程序生成与编辑

共 3 项评测
评测名称 / 模式
得分
排名/总数
89.59
6 / 66
64.50
2 / 6
53.30
5 / 17

漏洞利用

共 3 项评测
评测名称 / 模式
得分
排名/总数
ExploitBench
最高工具
100
1 / 7
42.40
1 / 2

文档与图表理解

共 5 项评测
评测名称 / 模式
得分
排名/总数
30.40
7 / 125
30.40
7 / 125
31
4 / 125
GDP.pdf
最高
31
4 / 125
GDP.pdf
极高
32.20
3 / 125

生物与基因

共 3 项评测
评测名称 / 模式
得分
排名/总数
BioMysteryBench
最高工具
79.26
3 / 21
60.30
1 / 2
37.10
1 / 2

专业数据分析

共 2 项评测
评测名称 / 模式
得分
排名/总数
AA-AnalystAgent
最高工具联网
51.25
4 / 29
40.90
1 / 2

界面定位

共 1 项评测
评测名称 / 模式
得分
排名/总数

设计与工程制图

共 2 项评测
评测名称 / 模式
得分
排名/总数
BenchCAD
最高工具
95.90
1 / 2
50
1 / 2

音乐创作

共 1 项评测
评测名称 / 模式
得分
排名/总数

维护、优化与工程管理

共 4 项评测
评测名称 / 模式
得分
排名/总数
SRE-Bench
最高工具
99.20
1 / 2
SRE-Bench
最高工具
88
1 / 2
Code Migration
最高工具
67.74
3 / 48
63.90
1 / 2

化学与药物研发

共 1 项评测
评测名称 / 模式
得分
排名/总数
49.30
1 / 2

医学知识与健康咨询

共 4 项评测
评测名称 / 模式
得分
排名/总数

漏洞发现与分析

共 1 项评测
评测名称 / 模式
得分
排名/总数
SEC-Bench Pro
最高工具
85.40
1 / 10

智能体操作安全

共 2 项评测
评测名称 / 模式
得分
排名/总数
2.40
1 / 2

安全边界与拒绝

共 2 项评测
评测名称 / 模式
得分
排名/总数
Circumvention
最高工具
0
1 / 2
0
1 / 2

事实可靠性与幻觉

共 2 项评测
评测名称 / 模式
得分
排名/总数
100
1 / 1
4.20
1 / 2

长文定位与检索

共 2 项评测
评测名称 / 模式
得分
排名/总数

机器学习工程

共 1 项评测
评测名称 / 模式
得分
排名/总数
WeirdML v3
极高工具
0.42
1 / 21

编码综合评估

共 1 项评测
评测名称 / 模式
得分
排名/总数
61.60
2 / 11

算法与竞赛编程

共 1 项评测
评测名称 / 模式
得分
排名/总数
IOI (Vals v2)
最高工具
100
1 / 30

临床工作与医疗决策

共 2 项评测
评测名称 / 模式
得分
排名/总数
MedScribe
最高工具
87.91
11 / 68
MedCode
最高工具
48.49
21 / 66

多轮记忆与持续上下文

共 1 项评测
评测名称 / 模式
得分
排名/总数
EBR-bench
最高工具
76.19
1 / 23