DataLearner 标志

Claude 3.5 Sonnet 评测详情

Claude 3.5 Sonnet 当前已收录的代表性评测结果包括 HumanEval(9 / 140,得分 92)、MMLU(19 / 124,得分 88.30)、MATH(18 / 42,得分 71.10)。

评测结果

Claude 3.5 Sonnet

评测结果

思考模式

综合评估

共 5 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
88.30
19 / 124
MMLU-Pro
常规模式
77.64
79 / 176
MMLU-Pro
unknown
77.64
79 / 176
HLE
常规模式
3.70
542 / 565
HLE
unknown
4.08
527 / 565

编程与软件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
92
9 / 140
LiveCodeBench
常规模式
38.10
193 / 251

数学推理

共 3 项评测
评测名称 / 模式
得分
排名/总数
MATH
常规模式
71.10
18 / 42
FrontierMath
常规模式
1
52 / 60
0
72 / 80

科学与综合推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
常规模式
59.40
382 / 463

写作和创作

共 1 项评测
评测名称 / 模式
得分
排名/总数
Creative Writing
常规模式
1448.90
56 / 106

多模态理解

共 2 项评测
评测名称 / 模式
得分
排名/总数
MMMU
unknown
68.30
49 / 74
MMMU-Pro
unknown
51.50
198 / 229

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
SimpleBench
常规模式
27.50
77 / 93