dolly-v2 简介

Dolly 2.0是一种基于EleutherAI pythia模型家族的12亿参数的语言模型，专门在一个新的高质量人类生成的指令跟踪数据集上进行微调，这些数据集是由Databricks员工众包生成的。

这是继Databricks发布Dolly 1.0过去不到一个月时间又一个开源的Dolly模型。不过与Dolly 1.0不同的是，Dolly 2.0是基于pythia模型训练得到。

重点是Dolly 2.0的全部内容都是开源的，包括训练代码、数据集和模型权重，所有这些都适用于商业用途。这意味着任何组织都可以创建、拥有和定制强大的LLMs，可以与人们交流，而无需支付API访问费用或与第三方共享数据。

Dolly 2.0包含了一系列多个版本，最大的参数是120亿，还有70亿、30亿版本：即dolly-v2-12b、dolly-v2-7b和dolly-v2-3b。