PL
PLUG
基础大模型Pre-training for Language Understanding and Generation
发布时间: 2022-09-01更新于: 2023-04-05 15:55:23.069585
模型参数
270亿
上下文长度
2K
中文支持
不支持
推理能力
Pre-training for Language Understanding and Generation 是由 腾讯AI实验室 发布的 AI 模型，发布时间为 2022-09-01，定位为 基础大模型，参数规模约为 270亿，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
PLUG
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2022-09-01
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
270亿 / 不涉及
知识截止
暂无数据
PLUG
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
PLUG
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
PLUG
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
PLUG
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
PLUG
发布机构
腾讯AI实验室
查看发布机构详情 Pre-training for Language Understanding and Generation
模型解读
PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型，参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段，第一阶段是一个24层的StructBERT编码器，第二阶段是一个24-6层的PALM编码器-解码器。
该模型示意图如下：
阿里没有为这个模型发布论文，只是在GitHub上提供了开源链接。最重要的是，其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。
在2021年4月20日的CLUE分类任务上，PLUG排行第二，仅次于人类表现。PLUG在其它任务的评测结果如下：
| Model | Metric | KBQG | DuReaderQG | DuReader-Robust |
|---|---|---|---|---|
| plug.zh | BLEU-4 | 66.30 | 49.20 | 42.83 |
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
