MMLU 评测基准详情

Massive Multitask Language Understanding

一个涵盖 57 个主题的多项选择题基准，用于评估大规模语言模型的知识和推理能力。

问题数量 15000
发布机构 University of California, Berkeley
评测类别 知识问答
评测指标 Accuracy
支持语言 英语
难度等级 Advanced

MMLU 大模型得分排行榜

数据来源：DataLearnerAI

排名
模型
得分
发布时间
参数(亿)
1
OpenAI Logo
OpenAI o4 - mini thinking
93.0
2025-04-16
未知
MMLU得分 93.0
发布时间 2025-04-16
参数(亿) 未知
查看模型详情
2
OpenAI Logo
OpenAI o1
91.8
2024-12-05
未知
MMLU得分 91.8
发布时间 2024-12-05
参数(亿) 未知
查看模型详情
3
DeepSeek-AI Logo
DeepSeek-R1
90.8
2025-01-20
6710.0
MMLU得分 90.8
发布时间 2025-01-20
参数(亿) 6710.0
查看模型详情
4
OpenAI Logo
GPT-4.1
90.2
2025-04-14
未知
MMLU得分 90.2
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
5
OpenAI Logo
GPT OSS 120B thinking
90.0
2025-08-06
117.0
MMLU得分 90.0
发布时间 2025-08-06
参数(亿) 117.0
查看模型详情
6
腾讯AI实验室 Logo
Hunyuan-TurboS
89.5
2025-03-10
未知
MMLU得分 89.5
发布时间 2025-03-10
参数(亿) 未知
查看模型详情
7
Moonshot AI Logo
Kimi K2
89.5
2025-07-11
10000.0
MMLU得分 89.5
发布时间 2025-07-11
参数(亿) 10000.0
查看模型详情
8
华为 Logo
Pangu Pro MoE
89.3
2025-06-30
719.0
MMLU得分 89.3
发布时间 2025-06-30
参数(亿) 719.0
查看模型详情
9
OpenAI Logo
GPT-4o
88.7
2024-05-13
0.0
MMLU得分 88.7
发布时间 2024-05-13
参数(亿) 0.0
查看模型详情
10
Facebook AI研究实验室 Logo
Llama3.1-405B Instruct
88.6
2024-07-23
4050.0
MMLU得分 88.6
发布时间 2024-07-23
参数(亿) 4050.0
查看模型详情
11
DeepSeek-AI Logo
DeepSeek-V3
88.5
2024-12-26
6810.0
MMLU得分 88.5
发布时间 2024-12-26
参数(亿) 6810.0
查看模型详情
12
Anthropic Logo
Claude 3.5 Sonnet
88.3
2024-06-21
未知
MMLU得分 88.3
发布时间 2024-06-21
参数(亿) 未知
查看模型详情
13
Anthropic Logo
Claude 3.5 Sonnet New
88.3
2024-10-22
0.0
MMLU得分 88.3
发布时间 2024-10-22
参数(亿) 0.0
查看模型详情
14
腾讯AI实验室 Logo
Hunyuan-A13B-Instruct
88.17
2025-06-27
800.0
MMLU得分 88.17
发布时间 2025-06-27
参数(亿) 800.0
查看模型详情
15
阿里巴巴 Logo
Qwen2.5-Max
87.9
2025-01-28
未知
MMLU得分 87.9
发布时间 2025-01-28
参数(亿) 未知
查看模型详情
16
xAI Logo
Grok 2
87.5
2024-08-13
未知
MMLU得分 87.5
发布时间 2024-08-13
参数(亿) 未知
查看模型详情
17
OpenAI Logo
GPT-4.1 mini
87.5
2025-04-14
未知
MMLU得分 87.5
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
18
Moonshot AI Logo
Kimi k1.5 (Short-CoT)
87.4
2025-01-22
未知
MMLU得分 87.4
发布时间 2025-01-22
参数(亿) 未知
查看模型详情
19
Google Deep Mind Logo
Gemini 1.5 Pro
87.1
2024-02-15
0.0
MMLU得分 87.1
发布时间 2024-02-15
参数(亿) 0.0
查看模型详情
20
OpenAI Logo
OpenAI o3-mini (high)
86.9
2025-01-31
未知
MMLU得分 86.9
发布时间 2025-01-31
参数(亿) 未知
查看模型详情
21
Anthropic Logo
Claude3-Opus
86.8
2024-03-04
0.0
MMLU得分 86.8
发布时间 2024-03-04
参数(亿) 0.0
查看模型详情
22
DeepSeek-AI Logo
DeepSeek-V3-0324
86.5
2025-03-24
6810.0
MMLU得分 86.5
发布时间 2025-03-24
参数(亿) 6810.0
查看模型详情
23
DeepMind Logo
Gemini 2.0 Pro Experimental
86.5
2025-02-05
未知
MMLU得分 86.5
发布时间 2025-02-05
参数(亿) 未知
查看模型详情
24
百度 Logo
ERNIE-4.5-300B-A47B
86.5
2025-06-30
3000.0
MMLU得分 86.5
发布时间 2025-06-30
参数(亿) 3000.0
查看模型详情
25
阿里巴巴 Logo
Qwen2.5-72B
86.1
2024-09-18
727.0
MMLU得分 86.1
发布时间 2024-09-18
参数(亿) 727.0
查看模型详情
26
Facebook AI研究实验室 Logo
Llama3.3-70B-Instruct
86.0
2024-12-06
700.0
MMLU得分 86.0
发布时间 2024-12-06
参数(亿) 700.0
查看模型详情
27
Facebook AI研究实验室 Logo
Llama3.1-70B-Instruct
86.0
2024-07-23
700.0
MMLU得分 86.0
发布时间 2024-07-23
参数(亿) 700.0
查看模型详情
28
亚马逊 Logo
Amazon Nova Pro
85.9
2024-12-03
未知
MMLU得分 85.9
发布时间 2024-12-03
参数(亿) 未知
查看模型详情
29
阿里巴巴 Logo
Qwen3-235B-A22B
85.8
2025-04-28
2350.0
MMLU得分 85.8
发布时间 2025-04-28
参数(亿) 2350.0
查看模型详情
30
OpenAI Logo
GPT-4o(2024-11-20)
85.7
2024-11-20
未知
MMLU得分 85.7
发布时间 2024-11-20
参数(亿) 未知
查看模型详情
31
Facebook AI研究实验室 Logo
Llama 4 Maverick
85.5
2025-04-05
4000.0
MMLU得分 85.5
发布时间 2025-04-05
参数(亿) 4000.0
查看模型详情
32
OpenAI Logo
GPT OSS 20B thinking
85.3
2025-08-06
210.0
MMLU得分 85.3
发布时间 2025-08-06
参数(亿) 210.0
查看模型详情
33
OpenAI Logo
OpenAI o1-mini
85.2
2024-09-12
未知
MMLU得分 85.2
发布时间 2024-09-12
参数(亿) 未知
查看模型详情
34
OpenAI Logo
OpenAI o3-mini thinking
84.9
2025-01-31
0.0
MMLU得分 84.9
发布时间 2025-01-31
参数(亿) 0.0
查看模型详情
35
Google Deep Mind Logo
Gemini 2.5 Flash-Lite
84.5
2025-06-17
未知
MMLU得分 84.5
发布时间 2025-06-17
参数(亿) 未知
查看模型详情
36
DeepMind Logo
Gemini 2.0 Flash Experimental
83.4
2024-12-11
未知
MMLU得分 83.4
发布时间 2024-12-11
参数(亿) 未知
查看模型详情
37
阿里巴巴 Logo
Qwen2.5-32B
83.3
2024-09-18
320.0
MMLU得分 83.3
发布时间 2024-09-18
参数(亿) 320.0
查看模型详情
38
OpenAI Logo
GPT-4o mini
82.0
2024-07-18
0.0
MMLU得分 82.0
发布时间 2024-07-18
参数(亿) 0.0
查看模型详情
39
xAI Logo
Grok-1.5
81.3
2024-03-29
未知
MMLU得分 81.3
发布时间 2024-03-29
参数(亿) 未知
查看模型详情
40
MistralAI Logo
Mistral-Small-3.1-24B-Instruct-2503
80.62
2025-03-17
240.0
MMLU得分 80.62
发布时间 2025-03-17
参数(亿) 240.0
查看模型详情
41
MistralAI Logo
Mistral-Small-3.2
80.5
2025-06-20
240.0
MMLU得分 80.5
发布时间 2025-06-20
参数(亿) 240.0
查看模型详情
42
OpenAI Logo
GPT-4.1 nano
80.1
2025-04-14
未知
MMLU得分 80.1
发布时间 2025-04-14
参数(亿) 未知
查看模型详情
43
Facebook AI研究实验室 Logo
Llama 4 Scout
79.6
2025-04-05
1090.0
MMLU得分 79.6
发布时间 2025-04-05
参数(亿) 1090.0
查看模型详情
44
DeepMind Logo
Gemini 2.0 Flash-Lite
78.2
2025-02-05
未知
MMLU得分 78.2
发布时间 2025-02-05
参数(亿) 未知
查看模型详情
45
Anthropic Logo
Claude 3.5 Haiku
77.6
2024-10-22
0.0
MMLU得分 77.6
发布时间 2024-10-22
参数(亿) 0.0
查看模型详情
46
Google Deep Mind Logo
Gemma 3 - 27B (IT)
76.9
2025-03-12
270.0
MMLU得分 76.9
发布时间 2025-03-12
参数(亿) 270.0
查看模型详情
47
阿里巴巴 Logo
Qwen2.5-7B
74.2
2024-09-18
70.0
MMLU得分 74.2
发布时间 2024-09-18
参数(亿) 70.0
查看模型详情
48
CohereAI Logo
C4AI Aya Vision 32B
72.14
2025-03-04
320.0
MMLU得分 72.14
发布时间 2025-03-04
参数(亿) 320.0
查看模型详情
49
Google Research Logo
Gemma 2 - 9B
71.3
2024-06-27
90.0
MMLU得分 71.3
发布时间 2024-06-27
参数(亿) 90.0
查看模型详情
50
Moonshot AI Logo
Moonlight-16B-A3B-Instruct
70.0
2025-02-23
160.0
MMLU得分 70.0
发布时间 2025-02-23
参数(亿) 160.0
查看模型详情
51
Facebook AI研究实验室 Logo
Llama3.1-8B-Instruct
68.1
2024-07-23
80.0
MMLU得分 68.1
发布时间 2024-07-23
参数(亿) 80.0
查看模型详情
52
Microsoft Logo
Phi-4-mini-instruct (3.8B)
67.3
2025-02-27
38.0
MMLU得分 67.3
发布时间 2025-02-27
参数(亿) 38.0
查看模型详情
53
Facebook AI研究实验室 Logo
Llama3.1-8B
66.6
2024-07-23
80.0
MMLU得分 66.6
发布时间 2024-07-23
参数(亿) 80.0
查看模型详情
54
阿里巴巴 Logo
Qwen2.5-3B
65.6
2024-09-18
30.0
MMLU得分 65.6
发布时间 2024-09-18
参数(亿) 30.0
查看模型详情
55
MistralAI Logo
Mistral-7B-Instruct-v0.3
64.2
2024-05-22
70.0
MMLU得分 64.2
发布时间 2024-05-22
参数(亿) 70.0
查看模型详情
56
Facebook AI研究实验室 Logo
Llama-3.2-3B
54.75
2024-09-18
32.0
MMLU得分 54.75
发布时间 2024-09-18
参数(亿) 32.0
查看模型详情