MosaicML Pretrained Transformer - 7B Instruct
MosaicML Pretrained Transformer - 7B Instruct 是由 MosaicML 发布的 AI 模型，发布时间为 2023-05-05，定位为 基础大模型，参数规模约为 67.0B，上下文长度为 2K，模型文件大小约 13.3GB，采用 CC-By-SA-3.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer。
MPT系列模型介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集（HH表示Helpful and Harmless）。这两个数据集相关的链接如下：
| 数据集名称 | 发布者 | 数据集链接 |
|---|---|---|
| Dolly-15k | Databricks | https://huggingface.co/datasets/databricks/databricks-dolly-15k |
| HH数据集 | Anthropic | https://huggingface.co/datasets/Anthropic/hh-rlhf |
MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后，MPT-7B-Instruct对指令的识别比原始模型要好很多。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
