DataLearner 标志

Devstral Medium 评测详情

Devstral Medium 当前已收录的代表性评测结果包括 SWE-bench Verified(81 / 116,得分 61.60)、Terminal Bench Hard(185 / 244,得分 9.10)、LiveCodeBench(205 / 251,得分 33.70)。

评测结果

Devstral Medium

评测结果

思考模式
工具使用

综合评估

共 1 项评测
评测名称 / 模式
得分
排名/总数
HLE
常规模式
3.80
535 / 565

科学与综合推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
常规模式
49.20
413 / 463

编程与软件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
SWE-bench Verified
常规模式
61.60
81 / 116
LiveCodeBench
常规模式
33.70
205 / 251

数学推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
AIME2025
常规模式
4.70
214 / 216

Agent能力评测

共 2 项评测
评测名称 / 模式
得分
排名/总数
τ²-Bench - Telecom
常规模式工具
19.90
248 / 264
Terminal Bench Hard
常规模式工具
9.10
185 / 244

指令跟随

共 1 项评测
评测名称 / 模式
得分
排名/总数
IF Bench
常规模式
29.90
266 / 282
Devstral Medium 评测结果与排名详情 | DataLearnerAI