BA

Baichuan2-7B-Chat

Baichuan2-7B-Chat

发布时间: 2023-09-06492
模型参数
70.0
上下文长度
4K
中文支持
支持
推理能力

模型基本信息

推理过程
不支持
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-09-06
模型文件大小
15GB
推理模式
暂无模式数据

开源和体验地址

代码开源状态
预训练权重开源
在线体验
暂无在线体验地址

官方介绍与博客

DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。

评测得分

当前尚无可展示的评测数据。

发布机构

模型解读

Baichuan2-7B-Chat是百川公司开源的百川系列大模型的第二代。这是第二代模型中针对对话进行调优和对齐的版本。相比较第一代的模型,第二代的Baichuan2-7B-Chat在各方面都有较大的提升。


Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-7B-Base是基础模型,70亿参数。


第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。


Baichuan2-7B-Chat的推理显存需要15.3GB才能完成。具体Baichuan2-7B的推理显存(包括量化版本)参考如下

量化精度Baichuan2-7B
bf16 / fp1615.3
8bits8.0
4bits5.1


第二代百川大模型还有13B的版本,需要更高的显存,但是表现更好,Baichuan2-13B系列所需的推理显存参考 Baichuan2-13B-Chat的DataLearner模型信息卡 。


相比较第一代的 Baichuan 7B ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~


Baichuan2-7B-Chat模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation 


Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083