DataLearner 标志

PanGu-Alpha

基础大模型Pangu
发布时间: 2021-04-26更新于: 2023-07-08浏览量: 664
上下文长度
2K
是否开源
开源
Apache 2.0
参数 2000亿
查看开源信息

PanGu-α is a Chinese autoregressive language model from Peng Cheng Laboratory and Huawei, released in April 2021 in sizes up to 200B parameters. Trained on 1.1TB of Chinese text with Huawei's MindSpore on Ascend processors, it was the largest Chinese language model of its time; smaller versions were open-sourced.

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

PanGu-Alpha

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2021-04-26
模型文件大小
100GB
MoE架构
否
总参数 / 激活参数
2000亿 / 不适用
知识截止
暂无数据
PanGu-Alpha

开源和体验地址

代码开源状态
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
Hugging Face
暂无
在线体验
暂无
PanGu-Alpha

官方介绍与博客

PanGu-Alpha

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
PanGu-Alpha

发布机构

PanGu-Alpha

模型解读

鹏程·盘古α是业界首个2000亿参数以中文为核心的预训练生成语言模型,目前开源了两个版本:鹏程·盘古α和鹏程·盘古α增强版,并支持NPU和GPU两个版本,支持丰富的场景应用,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出,具备较强的少样本学习的能力。

基于盘古系列大模型提供大模型应用落地技术帮助用户高效的落地超大预训练模型到实际场景。

鹏程·盘古α包含一系列模型,最小的26亿参数,最高2000亿参数,除了2000亿参数外,其它预训练结果均开源。下载地址见GitHub

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码