OpenChat-8192
OpenChat-8192 是由 Imoneoi 发布的 AI 模型,发布时间为 2023-07-02,定位为 聊天大模型,参数规模约为 130.0B,上下文长度为 8K,模型文件大小约 26GB,采用 开源不可商用 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
OpenChat是一系列开源语言模型,在多轮对话的多样化和高质量数据集上进行了微调。OpenChat仅从约90K个ShareGPT会话中筛选出约6K个GPT-4会话,旨在用有限的数据实现高性能。
OpenChat-8192是基于LLaMA 13B模型微调后得到的,但是将上下文长度的限制拓展到了8K,即8192个tokens(原始LLaMA只支持2K的上下文长度的输入)。OpenChat-8192在Vicuna GPT-4测试中超过了ChatGPT。在AlpacaEval测试中获得了79.5分。比OpenChat略低。
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
