LongChat-7B-16K
LongChat-7B-16K is an AI model published by LM-SYS, released on 2023-06-29, for 基础大模型, with 70.0B parameters, and 16K tokens context length, requiring about 13.5GB storage, under the 开源不可商用 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
LongChat-7B-16K是由LM-SYS开源的一个支持超长上下文输入的聊天大语言模型。也是目前开源领域对超长上下文支持最好的模型之一。
LongChat-7B-16K是基于MetaAI开眼的LLaMA-7B进行微调得到的。使用ShareGPT中提供的用户与GPT的对话数据微调得到。原始的LLaMA模型只支持2048长度的输入。而LongChat-7B则通过将原始输入长度进行重新编码后得到支持16K长度的上下文输入。具体方法参考： https://www.datalearner.com/blog/1051688257255268
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
