MPT-30B-Instruct - MosaicML Pretrained Transformer - 30B Instruct
模型详细情况和参数
MPT-30B-Instruct
- 模型全称
- MosaicML Pretrained Transformer - 30B Instruct
- 模型简称
- MPT-30B-Instruct
- 模型类型
- 基础大模型
- 发布日期
- 2023-06-22
- 预训练文件大小
- 60
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 300
- 代码是否开源
- Apache 2.0
- 预训练结果是否开源
- CC-BY-NC-SA-3.0
- 预训练结果商用授权情况
- 不可以商用
- 模型GitHub链接
- https://github.com/mosaicml/llm-foundry
- 模型HuggingFace链接
- https://huggingface.co/mosaicml/mpt-30b-instruct
- 发布论文名（官方博客名）
- MPT-30B: Raising the bar for open-source foundation models
- 论文地址（官方博客地址）
- https://www.mosaicml.com/blog/mpt-30b
- 基础模型
-
MPT
查看详情 - 发布机构
MosaicML Pretrained Transformer - 30B Instruct 简介
MPT-30B-Instruct是MosaicML开源的MPT-30B系列中针对指令进行微调的大模型。该模型代码依然采用Apache 2.0开源协议开源，但是其预训练结果却是CC-BY-NC-SA-3.0协议，不允许商用。
MPT-30B是MosaicML训练的300亿参数规模的大模型，其基础模型相比较7B版本有了很大的改进，在效果和训练推理效率上都有很大的提升。
MPT-30B-Instruct通过在Dolly HHRLHF上对MPT-30B进行微调而建立的，Dolly HHRLHF来源于Databricks Dolly-15k和Anthropic Helpful and Harmless（HH-RLHF）数据集。它还在Competition Math、Duorc、CoT GSM8k、Qasper、Quality、Summ Screen FD和Spider上训练。
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
MPT-30B-Instruct所属的领域
MPT-30B-Instruct相关的任务
