MPT-7B-Instruct
MosaicML Pretrained Transformer - 7B Instruct
模型参数
67.0亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
发布时间
2023-05-05
模型文件大小
13.3GB
MoE架构
否
总参数 / 激活参数
67.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
MosaicML
查看发布机构详情 模型解读
MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer。
MPT系列模型介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集（HH表示Helpful and Harmless）。这两个数据集相关的链接如下：
| 数据集名称 | 发布者 | 数据集链接 |
|---|---|---|
| Dolly-15k | Databricks | https://huggingface.co/datasets/databricks/databricks-dolly-15k |
| HH数据集 | Anthropic | https://huggingface.co/datasets/Anthropic/hh-rlhf |
MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后，MPT-7B-Instruct对指令的识别比原始模型要好很多。
基础模型
MPT
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
