大模型评测基准与性能对比

快速查看大模型在各项评测基准上的表现,包括MMLU Pro、HLE、SWE-Bench等多个标准数据集,帮助开发者和用户了解不同大模型在通用知识、编程能力、推理能力等方面的表现。

用户可以选择自定义模型与评测基准进行对比,快速获取不同模型在实际应用中的优劣势。

各个评测基准的详细介绍可见: LLM 评测基准列表与介绍

大模型性能评测结果

数据来源:DataLearnerAI

筛选条件

大模型排名数据表格

排名
模型
MMLU Pro
GPQA Diamond
SWE-bench Verified
MATH-500
AIME 2024
LiveCodeBench
参数(亿)
开源情况
1 阿里巴巴 Logo 84.40 81.10 未公布 未公布 未公布 74.10 305 免费商用授权
2 阿里巴巴 Logo 78.40 70.40 未公布 未公布 未公布 43.20 305 免费商用授权
3 阿里巴巴 Logo 76.00 58.00 未公布 91.00 79.50 未公布 325 免费商用授权
4 OpenAI Logo 74.00 71.50 未公布 未公布 96.00 未公布 210 免费商用授权
5 阿里巴巴 Logo 70.97 未公布 未公布 90.60 50.00 未公布 320 免费商用授权
6 阿里巴巴 Logo 69.23 未公布 未公布 未公布 未公布 51.20 320 免费商用授权
7 阿里巴巴 Logo 69.10 54.80 未公布 未公布 未公布 29.00 305 免费商用授权
8 MistralAI Logo 69.06 46.13 未公布 未公布 未公布 未公布 240 免费商用授权
9 Google Deep Mind Logo 67.50 42.40 未公布 未公布 25.30 29.70 270 免费商用授权
10 MistralAI Logo 66.76 45.96 未公布 未公布 未公布 未公布 240 免费商用授权
11 Google Deep Mind Logo 56.54 未公布 未公布 未公布 未公布 未公布 270 免费商用授权
12 CohereAI Logo 47.16 33.84 未公布 未公布 未公布 未公布 320 不可以商用
13 阿里巴巴 Logo 未公布 68.40 未公布 97.20 81.40 65.70 320 免费商用授权
14 阿里巴巴 Logo 未公布 未公布 51.60 未公布 未公布 未公布 305 免费商用授权
15 MistralAI Logo 未公布 未公布 46.80 未公布 未公布 未公布 240 免费商用授权
16 MistralAI Logo 未公布 未公布 53.60 未公布 未公布 未公布 240 免费商用授权
17 MistralAI Logo 未公布 68.18 未公布 未公布 70.68 55.84 240 免费商用授权
18 MistralAI Logo 未公布 未公布 未公布 未公布 未公布 31.50 220 不可以商用
MMLU Pro (知识问答) 84.40
GPQA Diamond (常识推理) 81.10
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 74.10
参数(亿) 305
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 78.40
GPQA Diamond (常识推理) 70.40
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 43.20
参数(亿) 305
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 76.00
GPQA Diamond (常识推理) 58.00
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 91.00
AIME 2024 (数学推理) 79.50
LiveCodeBench (代码生成) 未公布
参数(亿) 325
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 74.00
GPQA Diamond (常识推理) 71.50
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 96.00
LiveCodeBench (代码生成) 未公布
参数(亿) 210
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 70.97
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 90.60
AIME 2024 (数学推理) 50.00
LiveCodeBench (代码生成) 未公布
参数(亿) 320
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 69.23
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 51.20
参数(亿) 320
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 69.10
GPQA Diamond (常识推理) 54.80
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 29.00
参数(亿) 305
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 69.06
GPQA Diamond (常识推理) 46.13
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 240
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 67.50
GPQA Diamond (常识推理) 42.40
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 25.30
LiveCodeBench (代码生成) 29.70
参数(亿) 270
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 66.76
GPQA Diamond (常识推理) 45.96
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 240
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 56.54
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 270
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 47.16
GPQA Diamond (常识推理) 33.84
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 320
开源情况 不可以商用
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 68.40
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 97.20
AIME 2024 (数学推理) 81.40
LiveCodeBench (代码生成) 65.70
参数(亿) 320
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 51.60
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 305
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 46.80
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 240
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 53.60
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 240
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 68.18
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 70.68
LiveCodeBench (代码生成) 55.84
参数(亿) 240
开源情况 免费商用授权
查看模型详情
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 31.50
参数(亿) 220
开源情况 不可以商用
查看模型详情