ERNIE 3.0
基础大模型Enhanced Representation through kNowledge IntEgration 3.0
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
模型类型
基础大模型
发布时间
2021-07-00
模型预文件大小
开源和体验地址
代码开源状态
预训练权重开源
GitHub 源码
Hugging Face
在线体验
官方介绍与博客
官方论文
DataLearnerAI博客
API接口信息
接口速度（满分5分）
接口价格
ERNIE 3.0模型在各大评测榜单的评分
发布机构
Enhanced Representation through kNowledge IntEgration 3.0模型解读
百度文心大模型3.0版本。
ERNIE 3.0使用了4TB的中文语料库，模型参数100亿，是截至目前使用最多中文语料的预训练模型。
预训练的模型在各种自然语言处理（NLP）任务中取得了最先进的成果。最近的工作，如T5和GPT-3表明，扩大预训练语言模型的规模可以提高其泛化能力。特别是拥有1750亿个参数的GPT-3模型，显示了其强大的任务诊断性零次/零次学习能力。尽管它们很成功，但这些大规模的模型是在没有引入语言知识和世界知识的情况下对普通文本进行训练的。此外，大多数大规模模型是以自动回归的方式进行训练的。因此，这种传统的微调方法在解决下游语言理解任务时表现出相对较弱的性能。为了解决上述问题，我们提出了一个统一的框架，名为ERNIE 3.0，用于预训练大规模知识增强模型。它融合了自动回归网络和自动编码网络，因此，训练后的模型可以很容易地通过零点学习、几点学习或微调来适应自然语言理解和生成任务。我们在一个由普通文本和大规模知识图谱组成的4TB语料库上用100亿个参数训练该模型。实证结果表明，该模型在54个中文NLP任务上的表现优于最先进的模型，其英文版本在SuperGLUE基准测试中取得了第一名（2021年7月3日），比人类的表现高出+0.8%（90.6% vs. 89.8%）。
模型部分开源： https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-3.0
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
