大模型编程能力评测对比表

模型名称 参数大小 HumanEval Pass@1 MBPP Pass@1 发布者 开源情况 模型地址

Qwen-1.8B

18.0

15.2

/

阿里巴巴 Qwen-1.8B模型地址

Phi-2

27.0

48.3

59.1

Microsoft Phi-2模型地址

Phi-1

13.0

50.6

55.5

Microsoft Phi-1模型地址

Phi-1.5

13.0

34.1

37.7

Microsoft Phi-1.5模型地址

TinyLlama

11.0

6.71

19.91

新加坡科技与设计大学 TinyLlama模型地址

Gemma 2B

20.0

22.0

29.2

Google Research Gemma 2B模型地址

Gemma 2B - It

20.0

22.0

29.2

Google Research Gemma 2B - It模型地址
模型名称
Qwen-1.8B
HumanEval Pass@1
15.2
MBPP Pass@1
0.0
模型名称
Phi-2
HumanEval Pass@1
48.3
MBPP Pass@1
59.1
模型名称
Phi-1
HumanEval Pass@1
50.6
MBPP Pass@1
55.5
模型名称
Phi-1.5
HumanEval Pass@1
34.1
MBPP Pass@1
37.7
模型名称
TinyLlama
HumanEval Pass@1
6.71
MBPP Pass@1
19.91
模型名称
Gemma 2B
HumanEval Pass@1
22.0
MBPP Pass@1
29.2
模型名称
Gemma 2B - It
HumanEval Pass@1
22.0
MBPP Pass@1
29.2

数据说明:所有数据来源于论文或者GitHub上的评测结果,以官方论文为主,部分数据来源第三方评测!