MP
MPT-30B-Instruct
基础大模型MosaicML Pretrained Transformer - 30B Instruct
发布时间: 2023-06-22更新于: 2023-06-23浏览量: 170
模型参数
300亿
上下文长度
2K
多语言支持
暂无数据
推理能力
暂无数据
MosaicML Pretrained Transformer - 30B Instruct 是由 MosaicML 发布的 AI 模型，发布时间为 2023-06-22，定位为 基础大模型，参数规模约为 300亿，上下文长度为 2K，模型文件大小约 60，采用 CC-BY-NC-SA-3.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MPT-30B-Instruct
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-06-22
模型文件大小
60
MoE架构
否
总参数 / 激活参数
300亿 / 不适用
知识截止
暂无数据
MPT-30B-Instruct
开源和体验地址
MPT-30B-Instruct
官方介绍与博客
DataLearnerAI博客
暂无
MPT-30B-Instruct
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MPT-30B-Instruct
发布机构
MosaicML
查看发布机构详情 MosaicML Pretrained Transformer - 30B Instruct
模型解读
MPT-30B-Instruct是MosaicML开源的MPT-30B系列中针对指令进行微调的大模型。该模型代码依然采用Apache 2.0开源协议开源，但是其预训练结果却是CC-BY-NC-SA-3.0协议，不允许商用。
MPT-30B是MosaicML训练的300亿参数规模的大模型，其基础模型相比较7B版本有了很大的改进，在效果和训练推理效率上都有很大的提升。
MPT-30B-Instruct通过在Dolly HHRLHF上对MPT-30B进行微调而建立的，Dolly HHRLHF来源于Databricks Dolly-15k和Anthropic Helpful and Harmless（HH-RLHF）数据集。它还在Competition Math、Duorc、CoT GSM8k、Qasper、Quality、Summ Screen FD和Spider上训练。
基础模型
MPT
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
