Tsinghua-ERNIE

神经语言表示模型，如在大规模语料库上预训练的BERT，可以很好地从纯文本中捕捉到丰富的语义模式，并进行微调以持续改进各种NLP任务的性能。然而，现有的预训练语言模型很少考虑将知识图谱（KG）纳入其中，KG可以提供丰富的结构化知识事实以实现更好的语言理解。我们认为，KG中的信息实体可以增强语言表示的外部知识。在本文中，我们利用大规模文本语料库和KG训练了一个增强语言表示模型（ERNIE），可以同时充分利用词汇、句法和知识信息。实验结果表明，ERNIE在各种知识驱动任务上取得了显著的改进，同时在其他常见NLP任务上与最先进的模型BERT相当。

预训练结果下载地址： https://cloud.tsinghua.edu.cn/f/a763616323f946fd8ff6/