DataLearner 标志

MPT-30B

基础大模型MPT

MosaicML Pretrained Transformer - 30B

发布时间: 2023-06-22更新于: 2026-10-10浏览量: 288
GitHubHugging Face对比
上下文长度
8K
最佳榜单名次
第 157 / 168
ECI
查看全部评测
是否开源
开源
Apache 2.0
参数 300亿
查看开源信息

MPT-30B is the larger model in MosaicML's open MPT family, released on June 22, 2023 under Apache 2.0. Trained on 1 trillion tokens with an 8K-token context, it outperformed the original GPT-3 on several benchmarks and was sized to run on a single GPU.

数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法

MPT-30B

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
8K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-06-22
模型文件大小
60GB
MoE架构
否
总参数 / 激活参数
300亿 / 不适用
知识截止
暂无数据
MPT-30B

开源和体验地址

代码开源状态
Apache 2.0
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
github.com/mosaicml/llm-foundry
Hugging Face
huggingface.co/mosaicml/mpt-30b
在线体验
暂无
MPT-30B

官方介绍与博客

MPT-30B

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
MPT-30B

评测结果

MPT-30B 当前已收录的代表性评测结果包括 ECI（157 / 168，得分 100.16）。 本页还汇总了参数规模、上下文长度与 API 价格，便于结合评测结果与部署约束一起判断模型适配度。

思考模式

跨能力聚合指数

共 1 项评测
评测名称 / 模式
得分
排名/总数
ECI
unknown
100.16
157 / 168
查看评测深度分析与其他模型对比
MPT-30B

发布机构

MosaicML Pretrained Transformer - 30B

模型解读

MPT-30B是MosaicML开源的一个300亿参数规模的基础大语言模型。这是距离MPT-7B系列模型发布仅仅一个多月时间又一次更新。

相比较此前的MPT-7B系列模型，MPT-30B修改了transformer架构，使其训练和推理更加高效。MPT-30B是一个基础大语言模型，训练数据依然来自MosaicML团队收集的1万亿文本和代码数据集。

MPT-30B具有区别于其他LLM的特殊能力，包括支持8k的上下文窗口（可以通过微调进一步扩展，类似于MPT-7B-StoryWriter），通过ALiBi支持上下文长度的外推，以及通过FlashAttention进行高效推理+训练。由于其预训练组合，它还具有强大的编码能力。

至于300亿参数规模，官方也宣称是一种精心选择的结果，MPT-30B的规模可以在单个GPU上部署：其16位精度的模型可以部署在单个xA100-80GB显卡上，而8位精度的模型则可以部署在一个A100-40GB显卡上。

MPT-30B依然是代码和预训练结果均开源可商用的方式授权，以Apache 2.0协议开源。

基础模型

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送

DataLearner 官方微信二维码