CMU的工程人工智能硕士学位的研究生Jean de Nyandwi近期发表了一篇博客，详细介绍了当前大语言模型主流架构Transformer的历史发展和当前现状。这篇博客非常长，超过了1万字，20多个图，涵盖了Transformer之前的架构和发展。此外，这篇长篇介绍里面的公式内容并不多，所以对于害怕数学的童鞋来说也是十分不错。本文是其翻译版本，欢迎大家仔细学习。
今日推荐
仅需一行代码即可微调大语言模型——LightningAI发布全新Python库Lit-Parrot
多元正态（高斯）分布的贝叶斯推导（Bayesian Inference for the Multivariate Normal）
大语言模型训练之前，数据集的处理步骤包含哪些？以LLaMA模型的数据处理pipeline（CCNet）为例
华盛顿大学提出QLoRA及开源预训练模型Guanaco：将650亿参数规模的大模型微调的显存需求从780G降低到48G！单张显卡可用！
大型语言模型的新扩展规律（DeepMind新论文）——Training Compute-Optimal Large Language Models