MBPP 评测基准详情

Views503

问题数量

974

发布机构

个人

评测类别

编程与软件工程

评测指标

—

支持语言

英文

难度等级

—

简介

一个包含 974 个简单的 Python 编程问题的基准，用于评估模型生成代码的能力。

相关资源

MBPP 大模型得分排行榜

数据来源：DataLearnerAI

模式说明:

normal

thinking

low

medium

high

deeper thinking

parallel_thinking

图表加载中...

详细评测数据

当前榜单暂无并行思考结果

排名	模型
1	Llama3.1-405B Instruct	88.6	2024-07-23	4050
2	Gemini 1.5 Pro	87.8	2024-02-15	未知
3	Llama3.3-70B-Instruct	87.6	2024-12-06	700
4	GPT-4o mini	87.2	2024-07-18	未知
5	Llama3.1-70B-Instruct	86	2024-07-23	700
6	Claude 3.5 Haiku	85.6	2024-10-22	未知
7	Qwen2.5-72B	84.7	2024-09-18	727
8	Qwen2.5-32B	84	2024-09-18	320
9	Hunyuan-A13B-Instruct	83.86	2025-06-27	800
10	Qwen2.5-Max	80.6	2025-01-28	未知
11	Codestral 25.01	80.2	2025-01-13	未知
12	Codestral	78.2	2024-05-29	220
13	Llama 4 Maverick	77.6	2025-04-05	4000
14	Qwen2.5-7B	74.9	2024-09-18	70
15	Mistral-Small-3.1-24B-Instruct-2503	74.71	2025-03-17	240
16	Gemma 3 - 27B (IT)	74.4	2025-03-12	270
17	C4AI Aya Vision 32B	70.43	2025-03-04	320
18	Llama3.1-8B-Instruct	69.4	2024-07-23	80
19	Llama 4 Scout	67.8	2025-04-05	1090
20	Phi-4-mini-instruct (3.8B)	65.3	2025-02-27	38
21	Moonlight-16B-A3B-Instruct	63.8	2025-02-23	160
22	Gemma 2 - 9B	62.2	2024-06-27	90
23	Qwen2.5-3B	57.1	2024-09-18	30
24	Llama3.1-8B	53.9	2024-07-23	80
25	Mistral-7B-Instruct-v0.3	51.1	2024-05-22	70
26	Llama-3.2-3B	48.7	2024-09-18	32
27	Amazon Nova Pro	0	2024-12-03	未知