MPT-7B-Instruct - MosaicML Pretrained Transformer - 7B Instruct

模型详细情况和参数

MPT-7B-Instruct

模型全称
MosaicML Pretrained Transformer - 7B Instruct
模型简称
MPT-7B-Instruct
模型类型
基础大模型
发布日期
2023-05-05
预训练文件大小
13.3GB
是否支持中文(中文优化)
最高支持的上下文长度
2K
模型参数数量(亿)
67
代码是否开源
Apache 2.0
预训练结果是否开源
CC-By-SA-3.0
预训练结果商用授权情况
免费商用授权
发布论文名(官方博客名)
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs
论文地址(官方博客地址)
https://www.mosaicml.com/blog/mpt-7b
基础模型
发布机构

MosaicML Pretrained Transformer - 7B Instruct 简介

MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型,其中7B是指67亿参数规模,MPT全称MosaicML Pretrained Transformer。


MPT系列模型介绍: https://www.datalearner.com/ai-models/foundation-models/MPT 


MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集(HH表示Helpful and Harmless)。这两个数据集相关的链接如下:

数据集名称发布者数据集链接
Dolly-15kDatabricks https://huggingface.co/datasets/databricks/databricks-dolly-15k 
HH数据集Anthropichttps://huggingface.co/datasets/Anthropic/hh-rlhf 

MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后,MPT-7B-Instruct对指令的识别比原始模型要好很多。

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

MPT-7B-Instruct所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

MPT-7B-Instruct相关的任务
问答系统

问答系统

Question Answering

35个资源