MosaicML Pretrained Transformer - 7B StoryWriter 65k+
MosaicML Pretrained Transformer - 7B StoryWriter 65k+ 是由 MosaicML 发布的 AI 模型，发布时间为 2023-05-05，定位为 基础大模型，参数规模约为 67.0B，上下文长度为 65K，模型文件大小约 13.3GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MPT-7B-StoryWriter-65k+是MPT-7B系列模型中针对超长上下文输入进行优化的模型。
MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer，关于MPT系列模型请参考： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-StoryWriter-65k+是一个旨在读取和写入具有超长上下文长度的故事的模型。它是通过对MPT-7B进行微调而建立的，其上下文长度为65k tokens，在Books3数据集的一个过滤小说子集上进行微调。由于使用了ALiBi技术，MPT-7B-StoryWriter-65k+甚至可以推断出超过65k tokens的内容，官方宣称已经在A100-80GB GPU的单节点上演示了长达84k tokens的输出。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
