DeciLM-7B
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
DeciLM-7B是由Deci公司开源的一个70亿参数规模的大模型。这个模型最大的特点是运行速度非常快，但同时也是这个参数规模的大模型中评测基准最高的模型。
根据官方的描述，DeciLM-7B在各项评测基准中都有不俗的表现。如下表所示，DeciLM-7B模型和Mistral-7B模型的水平基本相当，其中ARC、MMLU、Truthful QA的得分比Mistral-7B略低，其它都比它好。而总的均值则是比Mistral-7B略好，远超Llama2-7B
| 模型 | Leaderboard | ARC | HellaSwag | MMLU | Truthful QA | Winogrande | GSMBK |
|---|---|---|---|---|---|---|---|
| DecilLM-7B-instruct | 63.19 | 61.01 | 82.37 | 60.24 | 49.75 | 79.72 | 46.02 |
| DeciLM 7B-Base | 61.55 | 59.39 | 82.51 | 59.76 | 40.33 | 79.95 | 47.38 |
| Mistral-7B-v0.1 | 60.97 | 59.98 | 83.31 | 64.14 | 42.15 | 78.37 | 37.83 |
| Vicuna-13B-v1.5 | 55.41 | 57.08 | 81.24 | 56.67 | 51.51 | 74.66 | 11.30 |
| Llama 2 13B-chat-hf | 54.91 | 59.04 | 81.94 | 54.64 | 44.12 | 74.51 | 15.24 |
| Llama 2-7B-hf | 50.97 | 53.07 | 78.59 | 46.87 | 38.76 | 74.03 | 14.48 |
而在DataLearnerAI收集的大模型评测排行榜的结果中，DeciLM-7B的效果也是很明显的，在70亿参数规模中排名很靠前：
详情参考： https://www.datalearner.com/ai-models/llm-evaluation?modelSize=7b
而基于PyTorch实现的DeciLM-7B的速度则是正常情况下7B模型的好几倍。如下图所示，在A100上，DeciLM-7B每秒生成的tokens数量达到328个，是Mistral 7B的1.83倍，是Llama2-7B的2.39倍！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
