查看 HumanEval pass@100 的最新得分、模型模式、发布时间与参数规模,快速了解当前完整榜单表现。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | 开源情况 | |||
|---|---|---|---|---|---|
94.70 | 2023-08-24 | 340亿 | 免费商用 | ||
94.10 | 2023-08-24 | 130亿 | 免费商用 | ||
93.50 | 2023-08-24 | 340亿 | 免费商用 | ||
4 | ![]() CodeLLaMA-34B 常规模式 | 93.00 | 2023-08-24 | 340亿 | 免费商用 |
5 | ![]() PanGu-Coder2 常规模式 | 91.76 | 2023-07-27 | 150亿 | 闭源 |
6 | 91.60 | 2023-08-24 | 130亿 | 免费商用 | |
7 | 90.60 | 2023-08-24 | 70亿 | 免费商用 | |
8 | 90.46 | 2023-06-14 | 150亿 | 免费商用 | |
9 | ![]() CodeLLaMA-13B 常规模式 | 89.80 | 2023-08-24 | 130亿 | 免费商用 |
10 | ![]() PaLM 常规模式 | 88.40 | 2022-04-05 | 5400亿 | 闭源 |
11 | ![]() PaLM-Coder 常规模式 | 88.40 | 2022-04-05 | 5400亿 | 闭源 |
12 | ![]() PaLM2-S 常规模式 | 88.40 | 2023-05-10 | 未知 | 闭源 |
13 | ![]() CodeGeeX2-6B 常规模式 | 88.30 | 2023-07-25 | 60亿 | 收费商用 |
14 | 88.10 | 2023-08-24 | 70亿 | 免费商用 | |
15 | ![]() LLaMA2 70B 常规模式 | 87.00 | 2023-07-18 | 700亿 | 免费商用 |
16 | ![]() CodeLLaMA-7B 常规模式 | 85.90 | 2023-08-24 | 70亿 | 免费商用 |
17 | ![]() LLaMA2 34B 常规模式 | 79.50 | 2023-07-18 | 340亿 | 免费商用 |
18 | ![]() Codex 常规模式 | 72.31 | 2021-08-10 | 1750亿 | 闭源 |
19 | ![]() LLaMA2 13B 常规模式 | 61.20 | 2023-07-18 | 130亿 | 免费商用 |
20 | ![]() CodeGeeX 常规模式 | 60.92 | 2022-09-30 | 130亿 | 闭源 |
21 | ![]() LLaMA2 7B 常规模式 | 44.40 | 2023-07-18 | 70亿 | 免费商用 |