MP
MPT-7B-Base
基础大模型MosaicML Pretrained Transformer - 7B Base
发布时间: 2023-05-05更新于: 2023-06-23 20:19:43.390153
模型参数
67亿
上下文长度
2K
中文支持
不支持
推理能力
MosaicML Pretrained Transformer - 7B Base 是由 MosaicML 发布的 AI 模型，发布时间为 2023-05-05，定位为 基础大模型，参数规模约为 67亿，上下文长度为 2K，模型文件大小约 13.3GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MPT-7B-Base
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-05-05
模型文件大小
13.3GB
MoE架构
否
总参数 / 激活参数
67亿 / 不涉及
知识截止
暂无数据
MPT-7B-Base
开源和体验地址
MPT-7B-Base
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
MPT-7B-Base
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MPT-7B-Base
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
MPT-7B-Base
发布机构
MosaicML
查看发布机构详情 MosaicML Pretrained Transformer - 7B Base
模型解读
MPT-7B是由MosaicML推出的transformer系列大模型，是基于1万亿tokens的文本和代码训练的。这是一个完全开源且允许商用的大模型，质量与LLaMA-7B差不多。
MPT系列介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Base是其中的基础模型，是一个decoder-style transformer，参数为67亿。它是在MosaicML的数据团队收集的1万亿文本和代码数据集上进行训练的。这个基本模型使用了用于快速训练和推理的FlashAttention，以及用于微调和外推到长上下文长度的ALiBi。
基础模型
MPT
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
