LO
模型参数
70亿
上下文长度
16K
中文支持
不支持
推理能力
LongChat-7B-16K 是由 LM-SYS 发布的 AI 模型，发布时间为 2023-06-29，定位为 基础大模型，参数规模约为 70亿，上下文长度为 16K，模型文件大小约 13.5GB，采用 开源不可商用 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
LongChat-7B-16K
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
16K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-06-29
模型文件大小
13.5GB
MoE架构
否
总参数 / 激活参数
70亿 / 不涉及
知识截止
暂无数据
LongChat-7B-16K
开源和体验地址
代码开源状态
预训练权重开源
开源不可商用- 不可商用
Hugging Face
在线体验
暂无在线体验地址
LongChat-7B-16K
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
LongChat-7B-16K
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
LongChat-7B-16K
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
LongChat-7B-16K
发布机构
LM-SYS
查看发布机构详情 LongChat-7B-16K
模型解读
LongChat-7B-16K是由LM-SYS开源的一个支持超长上下文输入的聊天大语言模型。也是目前开源领域对超长上下文支持最好的模型之一。
LongChat-7B-16K是基于MetaAI开眼的LLaMA-7B进行微调得到的。使用ShareGPT中提供的用户与GPT的对话数据微调得到。原始的LLaMA模型只支持2048长度的输入。而LongChat-7B则通过将原始输入长度进行重新编码后得到支持16K长度的上下文输入。具体方法参考： https://www.datalearner.com/blog/1051688257255268
基础模型
LLaMA
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
