DataLearner 标志

Gemma 3 - 27B (IT) 评测详情

Gemma 3 - 27B (IT) 当前已收录的代表性评测结果包括 GSM8K(6 / 68,得分 95.90)、MATH(6 / 42,得分 89)、HumanEval(32 / 140,得分 87.80)。

评测结果

Gemma 3 - 27B (IT)

评测结果

思考模式

综合知识考试

共 2 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
78.60
58 / 124
MMLU-Pro
常规模式
67.50
108 / 175

数学

共 3 项评测
评测名称 / 模式
得分
排名/总数
GSM8K
常规模式
95.90
6 / 68
MATH
常规模式
89
6 / 42
AIME 2024
常规模式
25.30
57 / 61

程序生成与编辑

共 2 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
87.80
32 / 140
MBPP
常规模式
74.40
30 / 95

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
HellaSwag
常规模式
85.60
3 / 3

语言与阅读理解

共 1 项评测
评测名称 / 模式
得分
排名/总数
DROP
常规模式
77.20
8 / 9

综合推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
BBH
常规模式
87.60
9 / 19

科学知识与推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
常规模式
42.40
238 / 253
GPQA
常规模式
36.83
16 / 17

事实可靠性与幻觉

共 1 项评测
评测名称 / 模式
得分
排名/总数
SimpleQA
常规模式
10
42 / 46

算法与竞赛编程

共 1 项评测
评测名称 / 模式
得分
排名/总数
LiveCodeBench
常规模式
29.70
121 / 125

写作与创意表达

共 1 项评测
评测名称 / 模式
得分
排名/总数
Creative Writing
常规模式
1262.90
76 / 106

图像感知与视觉推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
MMMU
常规模式
64.90
55 / 74
MMMU
unknown
64.90
55 / 74

自主开发与终端任务

共 1 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
常规模式
4.90
58 / 59