Dolly

Dolly是由Databricks在2023年3月发布的一系列大语言模型。最早的版本是60亿参数，基于EleutherAI的GPT-J-6B（ https://www.datalearner.com/ai-models/pretrained-models/GPT-J%206B ）训练得到。Dolly的工作原理是将现有的EleutherAI开源的60亿参数模型进行微调，从而激发出像头脑风暴和文本生成这样的指令跟踪能力，这些能力在原始模型中并不存在，使用了Alpaca的数据。

仅仅一个月不到，Dolly的v2系列发布。Dolly 2.0是一种基于EleutherAI pythia模型家族的12亿参数的语言模型，专门在一组新的高质量人类生成的指令跟踪数据集上进行微调，这些数据集是由Databricks员工众包生成的。也就是说Dolly2换了基础模型?。

重要的是，Dolly系列模型完全开源。包括训练代码、数据集和模型权重等。