MBPP 评测基准详情

169

模型模式说明

不同模式会显著影响成绩,请在对比榜单时留意标签提示。

提示:若某条记录未显示任何标签,即默认是 normal 常规模式。

normal

常规推理:单步推理,不延长思考、也不调用额外工具。

thinking low medium high

Thinking 系列:常规延长思考时间,low/medium/high 代表不同耗时或深度,各厂商叫法不同。

deeper thinking

Deeper thinking:在 Thinking 基础上进一步延长思考链条,通常意味着更多算力与时间。

使用工具 / 联网

允许调用检索、浏览器、代码解释器等外部能力。

parallel_thinking

并行思考:多线程/多代理协同探索再汇总,通常只在厂商内部实验环境中启用、尚未对外开放,因此被视为“作弊”模式。

MBPP 大模型得分排行榜

数据来源:DataLearnerAI

MBPP详细排名数据表格

默认:仅展示常规/非并行的评测结果,可按需查看并行思考成绩。

默认隐藏并行思考结果。

排名
模型
得分
发布时间
参数(亿)
1
88.6
2024-07-23
4050.0
MBPP得分 88.6
发布时间 2024-07-23
参数(亿) 4050.0
查看模型详情
2
87.8
2024-02-15
未知
MBPP得分 87.8
发布时间 2024-02-15
参数(亿) 未知
查看模型详情
3
87.6
2024-12-06
700.0
MBPP得分 87.6
发布时间 2024-12-06
参数(亿) 700.0
查看模型详情
4
87.2
2024-07-18
未知
MBPP得分 87.2
发布时间 2024-07-18
参数(亿) 未知
查看模型详情
5
86.0
2024-07-23
700.0
MBPP得分 86.0
发布时间 2024-07-23
参数(亿) 700.0
查看模型详情
6
85.6
2024-10-22
未知
MBPP得分 85.6
发布时间 2024-10-22
参数(亿) 未知
查看模型详情
7
84.7
2024-09-18
727.0
MBPP得分 84.7
发布时间 2024-09-18
参数(亿) 727.0
查看模型详情
8
84.0
2024-09-18
320.0
MBPP得分 84.0
发布时间 2024-09-18
参数(亿) 320.0
查看模型详情
9
83.86
2025-06-27
800.0
MBPP得分 83.86
发布时间 2025-06-27
参数(亿) 800.0
查看模型详情
10
80.6
2025-01-28
未知
MBPP得分 80.6
发布时间 2025-01-28
参数(亿) 未知
查看模型详情
11
80.2
2025-01-13
未知
MBPP得分 80.2
发布时间 2025-01-13
参数(亿) 未知
查看模型详情
12
78.2
2024-05-29
220.0
MBPP得分 78.2
发布时间 2024-05-29
参数(亿) 220.0
查看模型详情
13
77.6
2025-04-05
4000.0
MBPP得分 77.6
发布时间 2025-04-05
参数(亿) 4000.0
查看模型详情
14
74.9
2024-09-18
70.0
MBPP得分 74.9
发布时间 2024-09-18
参数(亿) 70.0
查看模型详情
15
74.71
2025-03-17
240.0
MBPP得分 74.71
发布时间 2025-03-17
参数(亿) 240.0
查看模型详情
16
74.4
2025-03-12
270.0
MBPP得分 74.4
发布时间 2025-03-12
参数(亿) 270.0
查看模型详情
17
70.43
2025-03-04
320.0
MBPP得分 70.43
发布时间 2025-03-04
参数(亿) 320.0
查看模型详情
18
69.4
2024-07-23
80.0
MBPP得分 69.4
发布时间 2024-07-23
参数(亿) 80.0
查看模型详情
19
67.8
2025-04-05
1090.0
MBPP得分 67.8
发布时间 2025-04-05
参数(亿) 1090.0
查看模型详情
20
65.3
2025-02-27
38.0
MBPP得分 65.3
发布时间 2025-02-27
参数(亿) 38.0
查看模型详情
21
63.8
2025-02-23
160.0
MBPP得分 63.8
发布时间 2025-02-23
参数(亿) 160.0
查看模型详情
22
62.2
2024-06-27
90.0
MBPP得分 62.2
发布时间 2024-06-27
参数(亿) 90.0
查看模型详情
23
57.1
2024-09-18
30.0
MBPP得分 57.1
发布时间 2024-09-18
参数(亿) 30.0
查看模型详情
24
53.9
2024-07-23
80.0
MBPP得分 53.9
发布时间 2024-07-23
参数(亿) 80.0
查看模型详情
25
51.1
2024-05-22
70.0
MBPP得分 51.1
发布时间 2024-05-22
参数(亿) 70.0
查看模型详情
26
48.7
2024-09-18
32.0
MBPP得分 48.7
发布时间 2024-09-18
参数(亿) 32.0
查看模型详情
27
0.0
2024-12-03
未知
MBPP得分 0.0
发布时间 2024-12-03
参数(亿) 未知
查看模型详情