Gemma2-27B 评测详情

Gemma2-27B 当前已收录的代表性评测结果包括 BBH(12 / 20,得分 74.90)、HellaSwag(2 / 3,得分 86.40)、GSM8K(19 / 26,得分 74)。

评测结果

Gemma2-27B

评测结果

思考模式

综合评估

共 3 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
75.20
55 / 65
BBH
常规模式
74.90
12 / 20
56.54
110 / 126

数学推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
GSM8K
常规模式
74
19 / 26
MATH
常规模式
42.30
38 / 42

编程与软件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
MBPP
常规模式
62.60
22 / 28
HumanEval
常规模式
51.80
32 / 39

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
HellaSwag
常规模式
86.40
2 / 3

阅读理解

共 1 项评测
评测名称 / 模式
得分
排名/总数
DROP
常规模式
74.20
9 / 9