MP

MPT-30B-Instruct

基础大模型

MosaicML Pretrained Transformer - 30B Instruct

发布时间: 2023-06-22

模型参数(Parameters)
300.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

2K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2023-06-22

模型预文件大小

60

开源和体验地址

代码开源状态
预训练权重开源
CC-BY-NC-SA-3.0 - 不可以商用
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

MPT-30B-Instruct模型在各大评测榜单的评分

发布机构

模型介绍

MPT-30B-Instruct是MosaicML开源的MPT-30B系列中针对指令进行微调的大模型。该模型代码依然采用Apache 2.0开源协议开源,但是其预训练结果却是CC-BY-NC-SA-3.0协议,不允许商用


MPT-30B是MosaicML训练的300亿参数规模的大模型,其基础模型相比较7B版本有了很大的改进,在效果和训练推理效率上都有很大的提升。


MPT-30B-Instruct通过在Dolly HHRLHF上对MPT-30B进行微调而建立的,Dolly HHRLHF来源于Databricks Dolly-15k和Anthropic Helpful and Harmless(HH-RLHF)数据集。它还在Competition Math、Duorc、CoT GSM8k、Qasper、Quality、Summ Screen FD和Spider上训练。

Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat