LongChat-7B-16K - LongChat-7B-16K
模型详细情况和参数
LongChat-7B-16K
- 模型全称
- LongChat-7B-16K
- 模型简称
- LongChat-7B-16K
- 模型类型
- 基础大模型
- 发布日期
- 2023-06-29
- 预训练文件大小
- 13.5GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 16K
- 模型参数数量（亿）
- 70.0
- 模型代码开源协议
- Apache 2.0
- 预训练结果开源商用情况
- 开源不可商用 - 不可以商用
- 模型GitHub链接
- https://github.com/DachengLi1/LongChat
- 模型HuggingFace链接
- https://huggingface.co/lmsys/longchat-7b-16k
- 在线演示地址
- 暂无
- 基础模型
-
LLaMA
查看详情 - 发布机构
LongChat-7B-16K 简介
LongChat-7B-16K是由LM-SYS开源的一个支持超长上下文输入的聊天大语言模型。也是目前开源领域对超长上下文支持最好的模型之一。
LongChat-7B-16K是基于MetaAI开眼的LLaMA-7B进行微调得到的。使用ShareGPT中提供的用户与GPT的对话数据微调得到。原始的LLaMA模型只支持2048长度的输入。而LongChat-7B则通过将原始输入长度进行重新编码后得到支持16K长度的上下文输入。具体方法参考： https://www.datalearner.com/blog/1051688257255268
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
LongChat-7B-16K所属的领域
LongChat-7B-16K相关的任务
