查看 HumanEval pass@10 的最新得分、模型模式、发布时间与参数规模,快速了解当前完整榜单表现。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | 开源情况 | |||
|---|---|---|---|---|---|
82.80 | 2023-08-24 | 340亿 | 免费商用 | ||
![]() PanGu-Coder2 常规模式 | 79.55 | 2023-07-27 | 150亿 | 闭源 | |
77.40 | 2023-08-24 | 130亿 | 免费商用 | ||
4 | 77.20 | 2023-08-24 | 340亿 | 免费商用 | |
5 | ![]() CodeLLaMA-34B 常规模式 | 76.80 | 2023-08-24 | 340亿 | 免费商用 |
6 | 73.32 | 2023-06-14 | 150亿 | 免费商用 | |
7 | 71.60 | 2023-08-24 | 130亿 | 免费商用 | |
8 | 70.30 | 2023-08-24 | 70亿 | 免费商用 | |
9 | ![]() CodeLLaMA-13B 常规模式 | 69.40 | 2023-08-24 | 130亿 | 免费商用 |
10 | 64.30 | 2023-08-24 | 70亿 | 免费商用 | |
11 | ![]() CodeGeeX2-6B 常规模式 | 62.60 | 2023-07-25 | 60亿 | 收费商用 |
12 | ![]() CodeLLaMA-7B 常规模式 | 59.60 | 2023-08-24 | 70亿 | 免费商用 |
13 | ![]() LLaMA2 70B 常规模式 | 59.40 | 2023-07-18 | 700亿 | 免费商用 |
14 | ![]() LLaMA2 34B 常规模式 | 47.00 | 2023-07-18 | 340亿 | 免费商用 |
15 | ![]() Codex 常规模式 | 46.81 | 2021-08-10 | 1750亿 | 闭源 |
16 | ![]() CodeGeeX 常规模式 | 39.57 | 2022-09-30 | 130亿 | 闭源 |
17 | ![]() LLaMA2 13B 常规模式 | 34.80 | 2023-07-18 | 130亿 | 免费商用 |
18 | ![]() LLaMA2 7B 常规模式 | 25.20 | 2023-07-18 | 70亿 | 免费商用 |