Baichuan2-13B-Base is the 13B base model in Baichuan AI's second-generation open family, released on September 6, 2023. Trained on 2.6 trillion tokens of high-quality text, it improved substantially on the first Baichuan models in Chinese and English, and was released with chat and quantised versions.
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
Baichuan2-13B-Base 当前已收录的代表性评测结果包括 AGIEval(9 / 28,得分 48.17)、C-Eval(25 / 48,得分 58.10)、GSM8K(44 / 68,得分 52.77)。 本页还汇总了参数规模、上下文长度与 API 价格,便于结合评测结果与部署约束一起判断模型适配度。
发布机构
模型解读
Baichuan2-13B-Base是百川公司开源的百川系列大模型的第二代。是130亿参数规模的基础大模型。相比较第一代的模型,第二代的Baichuan2-13B-Base在各方面都有较大的提升。
Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-13B-Base是基础模型,130亿参数。
第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。
Baichuan2-13B-Base的推理显存需要27.5GB才能完成。具体Baichuan2-13B的推理显存(包括量化版本)参考如下:
| 量化精度 | Baichuan2-13B |
|---|---|
| bf16 / fp16 | 27.5 GB |
| 8bits | 16.1 GB |
| 4bits | 8.6 GB |
Baichuan2-7B系列所需的推理显存更小,参考 Baichuan2-7B-Base的DataLearner模型信息卡 。
相比较第一代的 Baichuan 13B Base ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~
Baichuan2-13B-Base模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation
Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083
DataLearner 官方微信
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
