DataLearner 标志

PaLM 2

基础大模型PaLM

Pathways Language Model 2

发布时间: 2023-05-10更新于: 2026-10-10浏览量: 735
上下文长度
2K
最佳榜单名次
第 23 / 68
MMLU 第 53 / 117
查看全部评测
是否开源
不开源
查看开源信息

PaLM 2 is the language model Google announced at I/O on May 10, 2023, trained on more multilingual and code data than PaLM with improved reasoning. It powered Bard and Google's generative AI APIs in several sizes before Gemini replaced it; Google did not publish its parameter count.

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

PaLM 2

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-05-10
模型文件大小
暂无数据
MoE架构
未公布
总参数 / 激活参数
未公布 / 未公布
知识截止
暂无数据
PaLM 2

开源和体验地址

代码开源状态
不开源
预训练权重开源
不开源
GitHub 源码
暂无
Hugging Face
暂无
在线体验
暂无
PaLM 2

官方介绍与博客

DataLearnerAI博客
暂无
PaLM 2

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
PaLM 2

评测结果

PaLM 2 当前已收录的代表性评测结果包括 GSM8K(23 / 68,得分 80.70)、MMLU(53 / 117,得分 78.30)。 本页还汇总了参数规模、上下文长度与 API 价格,便于结合评测结果与部署约束一起判断模型适配度。

思考模式

综合知识考试

共 1 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
78.30
53 / 117

数学

共 1 项评测
评测名称 / 模式
得分
排名/总数
GSM8K
常规模式
80.70
23 / 68
PaLM 2

发布机构

Pathways Language Model 2

模型解读

-----------------------------2023年5月18日更新---------------------------------

2023年5月17日,CNBC报道了PaLM2的进一步信息。它是基于3.6万亿tokens数据训练的。而PaLM第一代的训练数据只包含了0.78万亿tokens。也就是说PaLM2的训练数据中的tokens约是PaLM的5倍。同时,PaLM2的参数约3400亿,也比前一代5400亿参数规模小很多。

参考链接: https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html 

Google发布的第二代语言模型,提升了多语言、推理和编码的能力。

Google在2023年的I/O大会上宣布了PaLM2模型。

作为PaLM的继任者,PaLM2的发布被谷歌寄予厚望。与OpenAI类似,谷歌官方没有透露很多关于模型的技术细节,虽然发布了一个92页的技术报告,但是,正文内容仅仅27页,引用和作者14页,剩余51页都是展示大量的测试结果。而前面的27页内容中也没有过多的细节描述。尽管如此,这里面依然有几个十分重要的结论供大家参考。

简要的结论如下:

  • PaLM2支持一百多种语言
  • PaLM2的模型参数比PaLM更小,但是能力更强
  • PaLM2与GPT-4相比很有竞争力
  • PaLM2有多个版本,最小的版本可以在移动端离线使用

关于PaLM2的技术分析可以参考: https://www.datalearner.com/blog/1051683818033012

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码