Enhanced Language Representation with Informative Entities
Enhanced Language Representation with Informative Entities is an AI model published by 智谱AI, released on 2019-05-17, for 基础大模型, with 1.14B parameters, and 2K tokens context length, requiring about 0.218 storage, under the MIT License license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
神经语言表示模型,如在大规模语料库上预训练的BERT,可以很好地从纯文本中捕捉到丰富的语义模式,并进行微调以持续改进各种NLP任务的性能。然而,现有的预训练语言模型很少考虑将知识图谱(KG)纳入其中,KG可以提供丰富的结构化知识事实以实现更好的语言理解。我们认为,KG中的信息实体可以增强语言表示的外部知识。在本文中,我们利用大规模文本语料库和KG训练了一个增强语言表示模型(ERNIE),可以同时充分利用词汇、句法和知识信息。实验结果表明,ERNIE在各种知识驱动任务上取得了显著的改进,同时在其他常见NLP任务上与最先进的模型BERT相当。
预训练结果下载地址: https://cloud.tsinghua.edu.cn/f/a763616323f946fd8ff6/
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
