MPT-7B-Base
MosaicML Pretrained Transformer - 7B Base
模型参数
67.0亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-05-05
模型文件大小
13.3GB
MoE架构
否
总参数 / 激活参数
67.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
MosaicML
查看发布机构详情 模型解读
MPT-7B是由MosaicML推出的transformer系列大模型，是基于1万亿tokens的文本和代码训练的。这是一个完全开源且允许商用的大模型，质量与LLaMA-7B差不多。
MPT系列介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Base是其中的基础模型，是一个decoder-style transformer，参数为67亿。它是在MosaicML的数据团队收集的1万亿文本和代码数据集上进行训练的。这个基本模型使用了用于快速训练和推理的FlashAttention，以及用于微调和外推到长上下文长度的ALiBi。
基础模型
MPT
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
