DE
DeepSeekMoE 16B Chat
发布时间: 2024-01-11更新于: 2024-01-11 14:39:17.098313
模型参数
164亿
上下文长度
4K
中文支持
支持
推理能力
DeepSeekMoE 16B Chat 是由 DeepSeek-AI 发布的 AI 模型，发布时间为 2024-01-11，定位为 聊天大模型，参数规模约为 164亿，上下文长度为 4K，模型文件大小约 32.77GB，采用 DEEPSEEK LICENSE AGREEMENT 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
DeepSeekMoE 16B Chat
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
聊天大模型
输入/输出模态
暂无数据
发布时间
2024-01-11
模型文件大小
32.77GB
MoE架构
否
总参数 / 激活参数
164亿 / 不涉及
知识截止
暂无数据
DeepSeekMoE 16B Chat
开源和体验地址
DeepSeekMoE 16B Chat
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
DeepSeekMoE 16B Chat
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
DeepSeekMoE 16B Chat
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
DeepSeekMoE 16B Chat
发布机构
DeepSeek-AI
查看发布机构详情 DeepSeekMoE 16B Chat
模型解读
DeepSeekMoE是幻方量化旗下大模型企业DeepSeek开源的一个混合专家大模型，也是目前已知的中国第一个开源的MoE大模型。
该模型参数164亿，但是单次推理只会使用28亿参数，因此可以理解为推理成本与30亿参数规模的大模型差不多。但是其效果和70亿参数规模的大模型等同。
DeepSeekMoE 16B Chat是其聊天优化的版本。
评测结果如下：
| 指标 | 抽样次数 | LLAMA2-7B SFT | DeepSeek 7B Chat | DeepSeekMoE 16B Chat |
|---|---|---|---|---|
| 参数总数 | N/A | 6.7B | 6.9B | 16.4B |
| 激活参数数 | N/A | 6.7B | 6.9B | 2.8B |
| 每 4K 令牌的 FLOPs | N/A | 187.9T | 183.5T | 74.4T |
| HellaSwag (Acc.) | 0-shot | 67.9 | 71.0 | 72.2 |
| PIQA (Acc.) | 0-shot | 76.9 | 78.4 | 79.7 |
| ARC-easy (Acc.) | 0-shot | 69.7 | 70.2 | 69.9 |
| ARC-challenge (Acc.) | 0-shot | 50.8 | 50.2 | 50.0 |
| BBH (EM) | 3-shot | 39.3 | 43.1 | 42.2 |
| RACE-middle (Acc.) | 5-shot | 63.9 | 66.1 | 64.8 |
| RACE-high (Acc.) | 5-shot | 49.6 | 50.8 | 50.6 |
| DROP (EM) | 1-shot | 40.0 | 41.7 | 33.8 |
| GSM8K (EM) | 0-shot | 63.4 | 62.6 | 62.2 |
| MATH (EM) | 4-shot | 13.5 | 14.7 | 15.2 |
| HumanEval (Pass@1) | 0-shot | 35.4 | 45.1 | 45.7 |
| MBPP (Pass@1) | 3-shot | 27.8 | 39.0 | 46.2 |
| TriviaQA (EM) | 5-shot | 60.1 | 59.5 | 63.3 |
| NaturalQuestions (EM) | 0-shot | 35.2 | 32.7 | 35.1 |
| MMLLU (Acc.) | 0-shot | 50.0 | 49.7 | 47.2 |
| WinoGrande (Acc.) | 0-shot | 65.1 | 68.4 | 69.0 |
| CLUE-WSC (EM) | 5-shot | 48.4 | 66.2 | 68.2 |
| CEval (Acc.) | 0-shot | 35.1 | 44.7 | 40.0 |
| CMMLU (Acc.) | 0-shot | 36.9 | 51.2 | 49.3 |
详细介绍参考： https://www.datalearner.com/blog/1051704952803167
该模型免费商用授权。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
