加载中...
加载中...
大模型已经对很多行业产生了巨大的影响，如何准确评测大模型的能力和效果，已经成为业界亟待解决的关键问题。生成式AI模型，如大型语言模型（LLMs），能够生成高质量的文本、代码、图像等内容，但其评测却相对很困难。而此前很多较早的评测也很难区分当前最优模型的能力。 以MMLU评测为例，2023年3月份，GPT-4在MMLU获得了86.4分之后，将近2年后的2024年年底，业界最好的大模型在MMLU上得分也就90.5，提升十分有限。 为此，滑铁卢大学、多伦多大学和卡耐基梅隆大学的研究人员一起提出了MMLU P
MMLU 的专业级别版本，包含更具挑战性的问题，旨在评估模型在专业领域的理解和推理能力。
Source: DataLearnerAI
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
Browse the latest scores, model modes, release dates, and parameter sizes for MMLU Pro.
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | OpenAI o1 Normal | 91.04 | 2024-12-05 | 未知 |
| 2 | Gemini 3.0 Pro (Preview 11-2025) Thinking Level · Medium | 90 | 2025-11-18 | 未知 |
| 3 | Claude Opus 4.5 Thinking Level · Medium | 90 | 2025-11-25 | 未知 |
| 4 | Claude Opus 4.1 Thinking Level · Medium | 88 | 2025-08-06 | 未知 |
| 5 | Claude Sonnet 4.5 Thinking Level · Medium | 88 | 2025-09-30 | 未知 |
| 6 | M2.1 Thinking Level · Medium | 88 | 2025-12-23 | 2300 |
| 7 | Qwen3.5-397B-A17B Thinking Level · Medium | 87.8 | 2026-02-16 | 397 |
| 8 | Qwen3.5-397B-A17B Thinking Level · Medium | 87.8 | 2026-02-16 | 397 |
| 9 | Hunyuan-T1 Normal | 87.2 | 2025-03-21 | 未知 |
| 10 | Grok 4 Thinking Level · Medium | 87 | 2025-07-10 | 未知 |
| 11 | GPT-4.5 Normal | 86.1 | 2025-02-28 | 未知 |
| 12 | Qwen3.5-27B Thinking Level · Medium | 86.1 | 2026-02-25 | 270 |
| 13 | Gemini 2.5-Pro Normal | 86 | 2025-06-05 | 未知 |
| 14 | Qwen3-Max-Thinking Thinking Level · Medium | 85.7 | 2026-01-26 | 10000 |
| 15 | OpenAI o3 Normal | 85.6 | 2025-04-16 | 未知 |
| 16 | Claude Opus 4 Normal | 85 | 2025-05-23 | 未知 |
| 17 | DeepSeek-R1-0528 Thinking Level · Medium | 85 | 2025-05-28 | 6710 |
| 18 | DeepSeek-V3.1 Thinking Level · Medium | 85 | 2025-08-20 | 6710 |
| 19 | DeepSeek-V3.1 Terminus Thinking Level · Medium | 85 | 2025-09-22 | 6710 |
| 20 | DeepSeek-V3.1 Terminus Normal | 85 | 2025-09-22 | 6710 |
| 21 | DeepSeek V3.2-Exp Thinking Level · Medium | 85 | 2025-09-29 | 6710 |
| 22 | Grok 4.1 Fast Thinking Level · Medium | 85 | 2025-11-19 | 未知 |
| 23 | GLM-4.5 Thinking Level · Medium | 84.6 | 2025-07-28 | 3550 |
| 24 | Kimi K2 Thinking Thinking Level · Medium | 84.6 | 2025-11-06 | 10400 |
| 25 | Qwen3-235B-A22B-Thinking-2507 Thinking Level · Medium | 84.4 | 2025-07-25 | 2350 |
| 26 | Qwen3-235B-A22B-Thinking Thinking Level · Medium | 84.4 | 2025-07-30 | 305 |
| 27 | GLM-4.7 Thinking Level · Medium | 84.3 | 2025-12-22 | 3580 |
| 28 | DeepSeek-R1 Normal | 84 | 2025-01-20 | 6710 |
| 29 | Claude Sonnet 4 Thinking Level · Medium | 84 | 2025-05-23 | 未知 |
| 30 | Qwen3 Max (Preview) Normal | 84 | 2025-09-05 | 未知 |