DataLearner 标志DataLearnerAI
AI技术博客
大模型评测排行
大模型评测基准
AI大模型大全
AI资源仓库
AI工具导航

加载中...

DataLearner 标志DataLearner AI

专注大模型评测、数据资源与实践教学的知识平台，持续更新可落地的 AI 能力图谱。

产品

  • 评测榜单
  • 模型对比
  • 数据资源

资源

  • 部署教程
  • 原创内容
  • 工具导航

关于

  • 关于我们
  • 隐私政策
  • 数据收集方法
  • 联系我们

© 2026 DataLearner AI. DataLearner 持续整合行业数据与案例，为科研、企业与开发者提供可靠的大模型情报与实践指南。

隐私政策服务条款
页面导航
目录
大模型列表MPT-7B-Base
MP

MPT-7B-Base

MosaicML Pretrained Transformer - 7B Base

发布时间: 2023-05-05更新于: 2023-06-23 20:19:43.39088
在线体验GitHubHugging Face
模型参数
67.0亿
上下文长度
2K
中文支持
不支持
推理能力

数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法

模型基本信息

推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
发布时间
2023-05-05
模型文件大小
13.3GB
MoE架构
否
总参数 / 激活参数
67.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据

开源和体验地址

代码开源状态
Apache 2.0
预训练权重开源
Apache 2.0- 免费商用授权
GitHub 源码
https://github.com/mosaicml/llm-foundry
Hugging Face
https://huggingface.co/mosaicml/mpt-7b
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。

评测得分

当前尚无可展示的评测数据。

发布机构

MosaicML
MosaicML
查看发布机构详情

模型解读

MPT-7B是由MosaicML推出的transformer系列大模型，是基于1万亿tokens的文本和代码训练的。这是一个完全开源且允许商用的大模型，质量与LLaMA-7B差不多。


MPT系列介绍： https://www.datalearner.com/ai-models/foundation-models/MPT 


MPT-7B-Base是其中的基础模型，是一个decoder-style transformer，参数为67亿。它是在MosaicML的数据团队收集的1万亿文本和代码数据集上进行训练的。这个基本模型使用了用于快速训练和推理的FlashAttention，以及用于微调和外推到长上下文长度的ALiBi。

基础模型

MPT
MPT
查看详情

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送

DataLearner 官方微信二维码