MP

MPT-7B-StoryWriter-65k+

基础大模型

MosaicML Pretrained Transformer - 7B StoryWriter 65k+

发布时间: 2023-05-05

模型参数(Parameters)
67.0
最高上下文长度(Context Length)
65K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

65K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2023-05-05

模型预文件大小

13.3GB

开源和体验地址

代码开源状态
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

MPT-7B-StoryWriter-65k+模型在各大评测榜单的评分

发布机构

模型介绍

MPT-7B-StoryWriter-65k+是MPT-7B系列模型中针对超长上下文输入进行优化的模型。


MPT是由MosaicML推出的transformer系列大模型,其中7B是指67亿参数规模,MPT全称MosaicML Pretrained Transformer,关于MPT系列模型请参考: https://www.datalearner.com/ai-models/foundation-models/MPT 


MPT-7B-StoryWriter-65k+是一个旨在读取和写入具有超长上下文长度的故事的模型。它是通过对MPT-7B进行微调而建立的,其上下文长度为65k tokens,在Books3数据集的一个过滤小说子集上进行微调。由于使用了ALiBi技术,MPT-7B-StoryWriter-65k+甚至可以推断出超过65k tokens的内容,官方宣称已经在A100-80GB GPU的单节点上演示了长达84k tokens的输出。

Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat