MosaicML Pretrained Transformer - 7B StoryWriter 65k+
MosaicML Pretrained Transformer - 7B StoryWriter 65k+ 是由 MosaicML 发布的 AI 模型,发布时间为 2023-05-05,定位为 基础大模型,参数规模约为 67.0B,上下文长度为 65K,模型文件大小约 13.3GB,采用 Apache 2.0 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
MPT-7B-StoryWriter-65k+是MPT-7B系列模型中针对超长上下文输入进行优化的模型。
MPT是由MosaicML推出的transformer系列大模型,其中7B是指67亿参数规模,MPT全称MosaicML Pretrained Transformer,关于MPT系列模型请参考: https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-StoryWriter-65k+是一个旨在读取和写入具有超长上下文长度的故事的模型。它是通过对MPT-7B进行微调而建立的,其上下文长度为65k tokens,在Books3数据集的一个过滤小说子集上进行微调。由于使用了ALiBi技术,MPT-7B-StoryWriter-65k+甚至可以推断出超过65k tokens的内容,官方宣称已经在A100-80GB GPU的单节点上演示了长达84k tokens的输出。
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

暂时没有为该模型整理的相关对比页面。
想自定义其他组合?打开对比工具