MP
MPT-30B
基础大模型MosaicML Pretrained Transformer - 30B
发布时间: 2023-06-22更新于: 2023-06-23浏览量: 282
模型参数
300亿
上下文长度
2K
多语言支持
暂无数据
推理能力
暂无数据
MosaicML Pretrained Transformer - 30B 是由 MosaicML 发布的 AI 模型，发布时间为 2023-06-22，定位为 基础大模型，参数规模约为 300亿，上下文长度为 2K，模型文件大小约 60GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MPT-30B
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-06-22
模型文件大小
60GB
MoE架构
否
总参数 / 激活参数
300亿 / 不适用
知识截止
暂无数据
MPT-30B
开源和体验地址
MPT-30B
官方介绍与博客
DataLearnerAI博客
暂无
MPT-30B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MPT-30B
发布机构
MosaicML
查看发布机构详情 MosaicML Pretrained Transformer - 30B
模型解读
MPT-30B是MosaicML开源的一个300亿参数规模的基础大语言模型。这是距离MPT-7B系列模型发布仅仅一个多月时间又一次更新。
相比较此前的MPT-7B系列模型，MPT-30B修改了transformer架构，使其训练和推理更加高效。MPT-30B是一个基础大语言模型，训练数据依然来自MosaicML团队收集的1万亿文本和代码数据集。
MPT-30B具有区别于其他LLM的特殊能力，包括支持8k的上下文窗口（可以通过微调进一步扩展，类似于MPT-7B-StoryWriter），通过ALiBi支持上下文长度的外推，以及通过FlashAttention进行高效推理+训练。由于其预训练组合，它还具有强大的编码能力。
至于300亿参数规模，官方也宣称是一种精心选择的结果，MPT-30B的规模可以在单个GPU上部署：其16位精度的模型可以部署在单个xA100-80GB显卡上，而8位精度的模型则可以部署在一个A100-40GB显卡上。
MPT-30B依然是代码和预训练结果均开源可商用的方式授权，以Apache 2.0协议开源。
基础模型
MPT
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
