DataLearner 标志
BA

Baichuan2-13B-Base

基础大模型Baichuan2

Baichuan2-13B-Base

发布时间: 2023-09-06更新于: 2023-09-09 10:23:57.697829
模型参数
130亿
上下文长度
4K
中文支持
支持
推理能力

Baichuan2-13B-Base 是由 百川智能 发布的 AI 模型,发布时间为 2023-09-06,定位为 基础大模型,参数规模约为 130亿,上下文长度为 4K,模型文件大小约 27.8GB,采用 Baichuan 2模型社区许可协议 许可。

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

Baichuan2-13B-Base

模型基本信息

推理过程
不支持
思考模式
不支持思考模式
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-09-06
模型文件大小
27.8GB
MoE架构
总参数 / 激活参数
130亿 / 不涉及
知识截止
暂无数据
Baichuan2-13B-Base

开源和体验地址

代码开源状态
预训练权重开源
在线体验
暂无在线体验地址
Baichuan2-13B-Base

官方介绍与博客

DataLearnerAI博客
暂无介绍博客
Baichuan2-13B-Base

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
Baichuan2-13B-Base

评测结果

当前尚无可展示的评测数据。

和其他模型对比

暂时没有为该模型整理的相关对比页面。

想自定义其他组合?打开对比工具

Baichuan2-13B-Base

发布机构

Baichuan2-13B-Base

模型解读

Baichuan2-13B-Base是百川公司开源的百川系列大模型的第二代。是130亿参数规模的基础大模型。相比较第一代的模型,第二代的Baichuan2-13B-Base在各方面都有较大的提升。


Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-13B-Base是基础模型,130亿参数。


第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。


Baichuan2-13B-Base的推理显存需要27.5GB才能完成。具体Baichuan2-13B的推理显存(包括量化版本)参考如下


量化精度Baichuan2-13B
bf16 / fp1627.5 GB
8bits16.1 GB
4bits 8.6 GB


Baichuan2-7B系列所需的推理显存更小,参考 Baichuan2-7B-Base的DataLearner模型信息卡 。


相比较第一代的 Baichuan 13B Base ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~


Baichuan2-13B-Base模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation 


Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083 

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码