大模型编程能力评测对比表

模型名称 参数大小 HumanEval Pass@1 HumanEval Pass@10 HumanEval Pass@100 MBPP Pass@1 MBPP Pass@10 MBPP Pass@100 发布者 开源情况 模型地址

LLaMA2 70B

700.0

30.5

59.4

87.0

45.4

66.2

/

Facebook AI研究实验室 LLaMA2 70B模型地址

Qwen-72B

720.0

35.4

/

/

52.2

/

/

阿里巴巴 Qwen-72B模型地址

XVERSE-65B

650.0

26.8

/

/

/

/

/

元象XVERSE XVERSE-65B模型地址
模型名称
LLaMA2 70B
HumanEval Pass@1
30.5
HumanEval Pass@10
59.4
HumanEval Pass@100
87.0
MBPP Pass@1
45.4
MBPP Pass@10
66.2
MBPP Pass@100
0.0
模型名称
Qwen-72B
HumanEval Pass@1
35.4
HumanEval Pass@10
0.0
HumanEval Pass@100
0.0
MBPP Pass@1
52.2
MBPP Pass@10
0.0
MBPP Pass@100
0.0
模型名称
XVERSE-65B
HumanEval Pass@1
26.8
HumanEval Pass@10
0.0
HumanEval Pass@100
0.0
MBPP Pass@1
0.0
MBPP Pass@10
0.0
MBPP Pass@100
0.0

数据说明:所有数据来源于论文或者GitHub上的评测结果,以官方论文为主,部分数据来源第三方评测!