MPT-7B-Instruct - MosaicML Pretrained Transformer - 7B Instruct
模型详细情况和参数
MPT-7B-Instruct
- 模型全称
- MosaicML Pretrained Transformer - 7B Instruct
- 模型简称
- MPT-7B-Instruct
- 模型类型
- 基础大模型
- 发布日期
- 2023-05-05
- 预训练文件大小
- 13.3GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 67
- 代码是否开源
- Apache 2.0
- 预训练结果是否开源
- CC-By-SA-3.0
- 预训练结果商用授权情况
- 免费商用授权
- 模型GitHub链接
- https://github.com/mosaicml/llm-foundry
- 模型HuggingFace链接
- https://huggingface.co/mosaicml/mpt-7b-instruct
- 发布论文名（官方博客名）
- Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs
- 论文地址（官方博客地址）
- https://www.mosaicml.com/blog/mpt-7b
- 基础模型
-
MPT
查看详情 - 发布机构
MosaicML Pretrained Transformer - 7B Instruct 简介
MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer。
MPT系列模型介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集（HH表示Helpful and Harmless）。这两个数据集相关的链接如下：
| 数据集名称 | 发布者 | 数据集链接 |
|---|---|---|
| Dolly-15k | Databricks | https://huggingface.co/datasets/databricks/databricks-dolly-15k |
| HH数据集 | Anthropic | https://huggingface.co/datasets/Anthropic/hh-rlhf |
MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后，MPT-7B-Instruct对指令的识别比原始模型要好很多。
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
MPT-7B-Instruct所属的领域
MPT-7B-Instruct相关的任务
