DataLearner 标志

PaLM 评测详情

PaLM 当前已收录的代表性评测结果包括 HumanEval pass@100(10 / 21,得分 88.40)、GSM8K(40 / 70,得分 56.50)、MMLU(76 / 124,得分 69.30)。

评测结果

PaLM

评测结果

思考模式

综合评估

共 1 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
69.30
76 / 124

数学推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
GSM8K
常规模式
56.50
40 / 70

编程与软件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
MBPP
常规模式
47
50 / 70
HumanEval
常规模式
26.20
87 / 101

代码能力

共 1 项评测
评测名称 / 模式
得分
排名/总数
HumanEval pass@100
常规模式
88.40
10 / 21