Pre-training for Language Understanding and Generation
Pre-training for Language Understanding and Generation 是由 腾讯AI实验室 发布的 AI 模型，发布时间为 2022-09-01，定位为 基础大模型，参数规模约为 270.0B，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
PLUG是由阿里巴巴达摩院MinD实验室开源的一个大模型，参数为270亿。是一个用于中文理解和生成的大规模预训练模型。PLUG的训练分为两个阶段，第一阶段是一个24层的StructBERT编码器，第二阶段是一个24-6层的PALM编码器-解码器。
该模型示意图如下：
阿里没有为这个模型发布论文，只是在GitHub上提供了开源链接。最重要的是，其270亿参数规模的预训练结果是提供申请的。只要审批通过即可下载。
在2021年4月20日的CLUE分类任务上，PLUG排行第二，仅次于人类表现。PLUG在其它任务的评测结果如下：
| Model | Metric | KBQG | DuReaderQG | DuReader-Robust |
|---|---|---|---|---|
| plug.zh | BLEU-4 | 66.30 | 49.20 | 42.83 |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
