Baichuan 13B - Base - Baichuan 13B - Base

模型详细情况和参数

Baichuan 13B - Base

模型全称
Baichuan 13B - Base
模型简称
Baichuan 13B - Base
模型类型
基础大模型
发布日期
2023-07-08
预训练文件大小
26.6GB
是否支持中文(中文优化)
最高支持的上下文长度
4K
模型参数数量(亿)
130.0
模型代码开源协议
Apache 2.0
预训练结果开源商用情况
免费商用授权 - 免费商用授权
在线演示地址
暂无
DataLearnerAI的模型介绍
官方博客论文
暂无
基础模型
无基础模型
发布机构

Baichuan 13B - Base 简介

Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点:

  1. 更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿,并且在高质量的语料上训练了 1.4 万亿 tokens,超过 LLaMA-13B 40%,是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语,使用 ALiBi 位置编码,上下文窗口长度为 4096。
  2. 同时开源预训练和对齐模型:预训练模型是适用开发者的『 基座 』,而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型(Baichuan-13B-Chat),具有很强的对话能力,开箱即用,几行代码即可简单的部署。
  3. 更高效的推理:为了支持更广大用户的使用,我们本次同时开源了 int8 和 int4 的量化版本,相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛,可以部署在如 Nvidia 3090 这样的消费级显卡上。
  4. 开源免费可商用:Baichuan-13B 不仅对学术研究完全开放,开发者也仅需邮件申请并获得官方商用许可后,即可以免费商用。

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

Baichuan 13B - Base所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

Baichuan 13B - Base相关的任务
问答系统

问答系统

Question Answering

35个资源