Chinese Pretrained Model - Bee
Chinese Pretrained Model - Bee is an AI model published by 面壁智能, released on 2023-05-27, for 基础大模型, with 100.0B parameters, and 2K tokens context length, requiring about 19.2GB storage, under the Apache 2.0 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
CPM-Bee是清华大学NLP实验室发布的一个中文大语言模型。完全开源！
-----------------2023年6月30日---------------------
基于CPM-Bee的多模态大模型VisCPM发布： https://www.datalearner.com/blog/1051688132077366
-----------------2023年6月27日---------------------
CPM-Bee发布一个月之后的功能更新： https://datalearner.com/blog/1051687966305189
-----------------2023年5月27日---------------------
| CPM-Bee模型参数 | CPM-Bee模型参数结果 |
|---|---|
| 模型名称 | CPM-Bee |
| 模型架构 | transformer |
| 基础模型 | CPM-Ant |
| 模型最大参数 | 10亿 |
| 训练时间 | 2022年10月13日-2023年5月27日 |
| 模型类型 | 基础语言模型 |
| 训练数据集 | 200GB高质量中文数据集+400GB多语言数据集 |
| 训练数据集tokens数 | 1万亿 |
CPM-Bee包含4个版本，其具体参数和预训练结果下载地址参考：
| CPM-Bee模型版本 | 推理的显存 | 预训练结果下载地址 | 推荐的硬件 |
|---|---|---|---|
| CPM-Bee-10B | 20GB | https://huggingface.co/openbmb/cpm-bee-10b/tree/main | RTX3090（24GB） |
| CPM-Bee-5B | 11 GB | https://huggingface.co/openbmb/cpm-bee-5b/tree/main | RTX 3090（24 GB） |
| CPM-Bee-2B | 6.7 GB | https://huggingface.co/openbmb/cpm-bee-2b/tree/main | GTX 1080（8 GB） |
| CPM-Bee-1B | 4.1 GB | https://huggingface.co/openbmb/cpm-bee-1b/tree/main | GTX 1660（6 GB） |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
