大模型评测基准与性能对比

快速查看大模型在各项评测基准上的表现，包括MMLU Pro、HLE、SWE-Bench等多个标准数据集，帮助开发者和用户了解不同大模型在通用知识、编程能力、推理能力等方面的表现。

用户可以选择自定义模型与评测基准进行对比，快速获取不同模型在实际应用中的优劣势。

各个评测基准的详细介绍可见： LLM 评测基准列表与介绍

大模型性能评测结果

数据来源：DataLearnerAI

自定义评测选择

+
+
全部
3B及以下
7B
13B
34B
65B
100B及以上
#
模型
MMLU Pro
GPQA Diamond
SWE-bench Verified
MATH-500
AIME 2024
LiveCodeBench
参数(亿)
开源情况
1
Google Deep Mind Logo
Gemini 1.5 Pro
76.10
53.50
未公布
未公布
未公布
未公布
未知
不开源
MMLU Pro (知识问答) 76.10
GPQA Diamond (常识推理) 53.50
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情
2
Facebook AI研究实验室 Logo
Llama3.1-405B Instruct
73.40
49.00
未公布
未公布
未公布
30.20
4,050
免费商用授权
MMLU Pro (知识问答) 73.40
GPQA Diamond (常识推理) 49.00
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 30.20
参数(亿) 4,050
开源情况 免费商用授权
查看模型详情
3
Microsoft Logo
Phi 4 - 14B
70.40
未公布
未公布
未公布
未公布
未公布
140
不可以商用
MMLU Pro (知识问答) 70.40
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 140
开源情况 不可以商用
查看模型详情
4
阿里巴巴 Logo
Qwen2.5-32B
69.23
未公布
未公布
未公布
未公布
51.20
320
免费商用授权
MMLU Pro (知识问答) 69.23
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 51.20
参数(亿) 320
开源情况 免费商用授权
查看模型详情
5
腾讯AI实验室 Logo
Hunyuan-A13B-Instruct
67.23
71.20
未公布
未公布
87.30
63.90
800
免费商用授权
MMLU Pro (知识问答) 67.23
GPQA Diamond (常识推理) 71.20
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 87.30
LiveCodeBench (代码生成) 63.90
参数(亿) 800
开源情况 免费商用授权
查看模型详情
6
MistralAI Logo
Mistral-Small-3.1-24B-Instruct-2503
66.76
45.96
未公布
未公布
未公布
未公布
240
免费商用授权
MMLU Pro (知识问答) 66.76
GPQA Diamond (常识推理) 45.96
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 240
开源情况 免费商用授权
查看模型详情
7
Facebook AI研究实验室 Logo
Llama3.1-70B-Instruct
66.40
48.00
未公布
未公布
未公布
33.30
700
免费商用授权
MMLU Pro (知识问答) 66.40
GPQA Diamond (常识推理) 48.00
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 33.30
参数(亿) 700
开源情况 免费商用授权
查看模型详情
8
Anthropic Logo
Claude 3.5 Haiku
65.00
41.60
未公布
未公布
未公布
未公布
未知
不开源
MMLU Pro (知识问答) 65.00
GPQA Diamond (常识推理) 41.60
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情
9
阿里巴巴 Logo
Qwen2.5-14B
63.69
未公布
未公布
未公布
未公布
未公布
140
免费商用授权
MMLU Pro (知识问答) 63.69
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 140
开源情况 免费商用授权
查看模型详情
10
OpenAI Logo
GPT-4o mini
61.70
41.10
未公布
未公布
未公布
未公布
未知
不开源
MMLU Pro (知识问答) 61.70
GPQA Diamond (常识推理) 41.10
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情
11
Facebook AI研究实验室 Logo
Llama3.1-405B
61.60
未公布
未公布
未公布
未公布
未公布
4,050
免费商用授权
MMLU Pro (知识问答) 61.60
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 4,050
开源情况 免费商用授权
查看模型详情
12
Google Deep Mind Logo
Gemma 3 - 12B (IT)
60.60
40.90
未公布
未公布
未公布
24.60
120
免费商用授权
MMLU Pro (知识问答) 60.60
GPQA Diamond (常识推理) 40.90
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 24.60
参数(亿) 120
开源情况 免费商用授权
查看模型详情
13
阿里巴巴 Logo
Qwen2.5-72B
58.10
45.90
未公布
未公布
未公布
未公布
727
免费商用授权
MMLU Pro (知识问答) 58.10
GPQA Diamond (常识推理) 45.90
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 727
开源情况 免费商用授权
查看模型详情
14
Google Deep Mind Logo
Gemma2-27B
56.54
未公布
未公布
未公布
未公布
未公布
270
免费商用授权
MMLU Pro (知识问答) 56.54
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 270
开源情况 免费商用授权
查看模型详情
15
Facebook AI研究实验室 Logo
Llama3.1-70B
52.47
未公布
未公布
未公布
未公布
未公布
700
免费商用授权
MMLU Pro (知识问答) 52.47
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 700
开源情况 免费商用授权
查看模型详情
16
阿里巴巴 Logo
Qwen2.5-7B
45.00
36.40
未公布
未公布
未公布
未公布
70
免费商用授权
MMLU Pro (知识问答) 45.00
GPQA Diamond (常识推理) 36.40
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 70
开源情况 免费商用授权
查看模型详情
17
Google Research Logo
Gemma 2 - 9B
44.70
32.80
未公布
未公布
未公布
未公布
90
免费商用授权
MMLU Pro (知识问答) 44.70
GPQA Diamond (常识推理) 32.80
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 90
开源情况 免费商用授权
查看模型详情
18
Facebook AI研究实验室 Logo
Llama3.1-8B
35.40
25.80
未公布
未公布
未公布
未公布
80
免费商用授权
MMLU Pro (知识问答) 35.40
GPQA Diamond (常识推理) 25.80
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 80
开源情况 免费商用授权
查看模型详情
19
阿里巴巴 Logo
Qwen2.5-3B
34.60
24.30
未公布
未公布
未公布
未公布
30
免费商用授权
MMLU Pro (知识问答) 34.60
GPQA Diamond (常识推理) 24.30
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 30
开源情况 免费商用授权
查看模型详情
20
Facebook AI研究实验室 Logo
Llama-3.2-3B
25.00
26.60
未公布
未公布
未公布
未公布
32
免费商用授权
MMLU Pro (知识问答) 25.00
GPQA Diamond (常识推理) 26.60
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 32
开源情况 免费商用授权
查看模型详情
21
xAI Logo
Grok 3 mini
未公布
65.00
未公布
未公布
40.00
未公布
未知
不开源
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 65.00
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 40.00
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情
22
OpenAI Logo
GPT-5
未公布
未公布
未公布
未公布
未公布
未公布
未知
不开源
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情
23
OpenAI Logo
GPT-5 Reasoning
未公布
未公布
未公布
未公布
未公布
未公布
未知
不开源
MMLU Pro (知识问答) 未公布
GPQA Diamond (常识推理) 未公布
SWE-bench Verified (代码生成) 未公布
MATH-500 (数学推理) 未公布
AIME 2024 (数学推理) 未公布
LiveCodeBench (代码生成) 未公布
参数(亿) 未知
开源情况 不开源
查看模型详情