Baichuan2-13B-Chat
Baichuan2-13B-Chat is an AI model published by 百川智能, released on 2023-09-06, for 聊天大模型, with 130.0B parameters, and 4K tokens context length, requiring about 27.8GB storage, under the Baichuan 2模型社区许可协议 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
Baichuan2-13B-Chat是百川公司开源的百川系列大模型的第二代。是130亿参数规模的聊天大模型,针对对话进行调优和对齐的版本。相比较第一代的模型,第二代的Baichuan2-13B-Chat在各方面都有较大的提升。
Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-13B-Chat是基础模型,130亿参数。
第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。
Baichuan2-13B-Chat的推理显存需要27.5GB才能完成。量化版本最低只需要8.6GB显存。具体Baichuan2-13B的推理显存(包括量化版本)参考如下:
| 量化精度 | Baichuan2-13B |
|---|---|
| bf16 / fp16 | 27.5 GB |
| 8bits | 16.1 GB |
| 4bits | 8.6 GB |
Baichuan2-7B系列所需的推理显存更小,参考 Baichuan2-7B-Base的DataLearner模型信息卡 。
相比较第一代的 Baichuan 13B Base ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~
Baichuan2-13B-Base模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation
Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
