DeciLM-7B
DeciLM-7B
模型参数
70.4亿
上下文长度
8K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
8K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-12-12
模型文件大小
14.09
MoE架构
否
总参数 / 激活参数
70.4 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
Deci
查看发布机构详情 模型解读
DeciLM-7B是由Deci公司开源的一个70亿参数规模的大模型。这个模型最大的特点是运行速度非常快，但同时也是这个参数规模的大模型中评测基准最高的模型。
根据官方的描述，DeciLM-7B在各项评测基准中都有不俗的表现。如下表所示，DeciLM-7B模型和Mistral-7B模型的水平基本相当，其中ARC、MMLU、Truthful QA的得分比Mistral-7B略低，其它都比它好。而总的均值则是比Mistral-7B略好，远超Llama2-7B
| 模型 | Leaderboard | ARC | HellaSwag | MMLU | Truthful QA | Winogrande | GSMBK |
|---|---|---|---|---|---|---|---|
| DecilLM-7B-instruct | 63.19 | 61.01 | 82.37 | 60.24 | 49.75 | 79.72 | 46.02 |
| DeciLM 7B-Base | 61.55 | 59.39 | 82.51 | 59.76 | 40.33 | 79.95 | 47.38 |
| Mistral-7B-v0.1 | 60.97 | 59.98 | 83.31 | 64.14 | 42.15 | 78.37 | 37.83 |
| Vicuna-13B-v1.5 | 55.41 | 57.08 | 81.24 | 56.67 | 51.51 | 74.66 | 11.30 |
| Llama 2 13B-chat-hf | 54.91 | 59.04 | 81.94 | 54.64 | 44.12 | 74.51 | 15.24 |
| Llama 2-7B-hf | 50.97 | 53.07 | 78.59 | 46.87 | 38.76 | 74.03 | 14.48 |
而在DataLearnerAI收集的大模型评测排行榜的结果中，DeciLM-7B的效果也是很明显的，在70亿参数规模中排名很靠前：
详情参考： https://www.datalearner.com/ai-models/llm-evaluation?modelSize=7b
而基于PyTorch实现的DeciLM-7B的速度则是正常情况下7B模型的好几倍。如下图所示，在A100上，DeciLM-7B每秒生成的tokens数量达到328个，是Mistral 7B的1.83倍，是Llama2-7B的2.39倍！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
