大模型评测基准与性能对比

本页面展示了多个主流大模型在各项评测基准上的表现,包括MMLU、GSM8K、HumanEval等多个标准数据集。我们通过实时更新的评测结果,帮助开发者和研究人员了解不同大模型在各种任务下的表现。用户可以选择自定义模型与评测基准进行对比,快速获取不同模型在实际应用中的优劣势。

各个评测基准的详细介绍可见: LLM 评测基准列表与介绍

自定义评测选择

+
+
模型名称
MMLU Pro
知识问答
MMLU
知识问答
GSM8K
数学推理
MATH
数学推理
GPQA Diamond
常识推理
HumanEval
代码生成
MATH-500
数学推理
LiveCodeBench
代码生成
参数数量 开源情况 发布机构
QwQ-32B 76.00 0.00 0.00 0.00 58.00 19.00 91.00 0.00 325.0 阿里巴巴
QwQ-32B-Preview 70.97 0.00 0.00 0.00 0.00 0.00 90.60 0.00 320.0 阿里巴巴
Qwen2.5-32B 69.23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 320.0 阿里巴巴
Gemma 3 - 27B (IT) 67.50 76.90 0.00 89.00 42.40 87.80 0.00 29.70 270.0 Google Deep Mind
Mistral-Small-3.1-24B-Instruct-2503 66.76 80.62 0.00 69.30 45.96 88.41 0.00 0.00 240.0 MistralAI
Gemma2-27B 56.54 0.00 0.00 0.00 0.00 0.00 0.00 0.00 270.0 Google Deep Mind
C4AI Aya Vision 32B 47.16 72.14 0.00 69.30 33.84 62.20 0.00 0.00 320.0 CohereAI
MMLU Pro
76.00
MMLU
0.00
GSM8K
0.00
MATH
0.00
GPQA Diamond
58.00
HumanEval
19.00
MATH-500
91.00
LiveCodeBench
0.00
MMLU Pro
70.97
MMLU
0.00
GSM8K
0.00
MATH
0.00
GPQA Diamond
0.00
HumanEval
0.00
MATH-500
90.60
LiveCodeBench
0.00
MMLU Pro
69.23
MMLU
0.00
GSM8K
0.00
MATH
0.00
GPQA Diamond
0.00
HumanEval
0.00
MATH-500
0.00
LiveCodeBench
0.00
MMLU Pro
67.50
MMLU
76.90
GSM8K
0.00
MATH
89.00
GPQA Diamond
42.40
HumanEval
87.80
MATH-500
0.00
LiveCodeBench
29.70
MMLU Pro
66.76
MMLU
80.62
GSM8K
0.00
MATH
69.30
GPQA Diamond
45.96
HumanEval
88.41
MATH-500
0.00
LiveCodeBench
0.00
MMLU Pro
56.54
MMLU
0.00
GSM8K
0.00
MATH
0.00
GPQA Diamond
0.00
HumanEval
0.00
MATH-500
0.00
LiveCodeBench
0.00
MMLU Pro
47.16
MMLU
72.14
GSM8K
0.00
MATH
69.30
GPQA Diamond
33.84
HumanEval
62.20
MATH-500
0.00
LiveCodeBench
0.00