重磅！大规模预训练模型路线图

重磅新论文！北京人工智能研究员与清华大学、腾讯、华为、字节等公司一起发表了一篇关于大规模预训练模型路线图的论文。

随着深度学习的发展，为下游任务建立大规模预训练模型是现在很流行的模式，也在各个领域取得的了很好的效果。但是针对全体大规模预训练模型的进展梳理还比较缺乏，本文整体梳理了近几年大规模预训练模型的各个进展。这篇论文对大规模预训练模型的四块做了分析，分别是资源、模型、关键技术和应用，共16个相关的主题，分别是数据、知识、计算系统、并行训练系统、语言模型、视觉模型、多模式模型、理论与可解释性、常识性推理、可靠性与安全性、治理、评估、机器翻译、文本生成、对话和蛋白质研究。几乎涵盖了所有的大规模预训练模型的理论与技术。

这篇论文共99个作者，200页，1637篇参考文献，规模很大，内容很详细。大家可以好好学习一下。

论文链接：http://arxiv.org/abs/2203.14101