Baichuan 13B - Base
模型参数
130亿
上下文长度
4K
中文支持
支持
推理能力
Baichuan 13B - Base 是由 百川智能 发布的 AI 模型，发布时间为 2023-07-08，定位为 基础大模型，参数规模约为 130亿，上下文长度为 4K，模型文件大小约 26.6GB，采用 免费商用授权 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Baichuan 13B - Base
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-07-08
模型文件大小
26.6GB
MoE架构
否
总参数 / 激活参数
130亿 / 不涉及
知识截止
暂无数据
Baichuan 13B - Base
开源和体验地址
代码开源状态
预训练权重开源
免费商用授权
在线体验
暂无在线体验地址
Baichuan 13B - Base
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
Baichuan 13B - Base
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Baichuan 13B - Base
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
Baichuan 13B - Base
发布机构
百川智能
查看发布机构详情 Baichuan 13B - Base
模型解读
Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点：
- 更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。
- 同时开源预训练和对齐模型：预训练模型是适用开发者的『 基座 』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。
- 更高效的推理：为了支持更广大用户的使用，我们本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。
- 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
