Enhanced Language Representation with Informative Entities
模型参数
1.1亿
上下文长度
2K
中文支持
支持
推理能力
Enhanced Language Representation with Informative Entities 是由 智谱AI 发布的 AI 模型，发布时间为 2019-05-17，定位为 基础大模型，参数规模约为 1.1亿，上下文长度为 2K，模型文件大小约 0.218，采用 MIT License 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Tsinghua-ERNIE
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2019-05-17
模型文件大小
0.218
MoE架构
否
总参数 / 激活参数
1.1亿 / 不涉及
知识截止
暂无数据
Tsinghua-ERNIE
开源和体验地址
Tsinghua-ERNIE
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
Tsinghua-ERNIE
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Tsinghua-ERNIE
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
Tsinghua-ERNIE
发布机构
智谱AI
查看发布机构详情 Enhanced Language Representation with Informative Entities
模型解读
神经语言表示模型，如在大规模语料库上预训练的BERT，可以很好地从纯文本中捕捉到丰富的语义模式，并进行微调以持续改进各种NLP任务的性能。然而，现有的预训练语言模型很少考虑将知识图谱（KG）纳入其中，KG可以提供丰富的结构化知识事实以实现更好的语言理解。我们认为，KG中的信息实体可以增强语言表示的外部知识。在本文中，我们利用大规模文本语料库和KG训练了一个增强语言表示模型（ERNIE），可以同时充分利用词汇、句法和知识信息。实验结果表明，ERNIE在各种知识驱动任务上取得了显著的改进，同时在其他常见NLP任务上与最先进的模型BERT相当。
预训练结果下载地址： https://cloud.tsinghua.edu.cn/f/a763616323f946fd8ff6/
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
