DataLearner 标志

Gemini 1.5 Pro 评测详情

Gemini 1.5 Pro 当前已收录的代表性评测结果包括 MBPP(2 / 70,得分 87.80)、HumanEval(9 / 101,得分 89)、MMLU(26 / 124,得分 87.10)。

评测结果

Gemini 1.5 Pro

评测结果

思考模式

综合评估

共 3 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
87.10
26 / 124
MMLU Pro
常规模式
76.10
80 / 133
BBH
常规模式
0
20 / 21

数学推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
MATH
常规模式
82.90
11 / 42
GSM8K
常规模式
0
68 / 70

编程与软件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
89
9 / 101
MBPP
常规模式
87.80
2 / 70

真实性评估

共 1 项评测
评测名称 / 模式
得分
排名/总数
TruthfulQA
常规模式
0
2 / 4

科学与综合推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
常规模式
53.50
193 / 224