MosaicML Pretrained Transformer - 7B Instruct
MPT-7B-Instruct is the instruction-tuned version of MosaicML's MPT-7B, released on May 5, 2023 for short-form instruction following and fine-tuned on data derived from Databricks Dolly-15k and Anthropic's Helpful and Harmless datasets.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
发布机构
模型解读
MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer。
MPT系列模型介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集（HH表示Helpful and Harmless）。这两个数据集相关的链接如下：
| 数据集名称 | 发布者 | 数据集链接 |
|---|---|---|
| Dolly-15k | Databricks | https://huggingface.co/datasets/databricks/databricks-dolly-15k |
| HH数据集 | Anthropic | https://huggingface.co/datasets/Anthropic/hh-rlhf |
MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后，MPT-7B-Instruct对指令的识别比原始模型要好很多。
基础模型
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
