MosaicML Pretrained Transformer - 7B Base
MosaicML Pretrained Transformer - 7B Base is an AI model published by MosaicML, released on 2023-05-05, for 基础大模型, with 67.0B parameters, and 2K tokens context length, requiring about 13.3GB storage, under the Apache 2.0 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
MPT-7B是由MosaicML推出的transformer系列大模型，是基于1万亿tokens的文本和代码训练的。这是一个完全开源且允许商用的大模型，质量与LLaMA-7B差不多。
MPT系列介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Base是其中的基础模型，是一个decoder-style transformer，参数为67亿。它是在MosaicML的数据团队收集的1万亿文本和代码数据集上进行训练的。这个基本模型使用了用于快速训练和推理的FlashAttention，以及用于微调和外推到长上下文长度的ALiBi。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
