MosaicML Pretrained Transformer - 7B StoryWriter 65k+ 简介

MPT-7B-StoryWriter-65k+是MPT-7B系列模型中针对超长上下文输入进行优化的模型。

MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer，关于MPT系列模型请参考： https://www.datalearner.com/ai-models/foundation-models/MPT 

MPT-7B-StoryWriter-65k+是一个旨在读取和写入具有超长上下文长度的故事的模型。它是通过对MPT-7B进行微调而建立的，其上下文长度为65k tokens，在Books3数据集的一个过滤小说子集上进行微调。由于使用了ALiBi技术，MPT-7B-StoryWriter-65k+甚至可以推断出超过65k tokens的内容，官方宣称已经在A100-80GB GPU的单节点上演示了长达84k tokens的输出。