DeciLM-7B是由Deci公司开源的一个70亿参数规模的大模型。这个模型最大的特点是运行速度非常快，但同时也是这个参数规模的大模型中评测基准最高的模型。

根据官方的描述，DeciLM-7B在各项评测基准中都有不俗的表现。如下表所示，DeciLM-7B模型和Mistral-7B模型的水平基本相当，其中ARC、MMLU、Truthful QA的得分比Mistral-7B略低，其它都比它好。而总的均值则是比Mistral-7B略好，远超Llama2-7B

模型	Leaderboard	ARC	HellaSwag	MMLU	Truthful QA	Winogrande	GSMBK
DecilLM-7B-instruct	63.19	61.01	82.37	60.24	49.75	79.72	46.02
DeciLM 7B-Base	61.55	59.39	82.51	59.76	40.33	79.95	47.38
Mistral-7B-v0.1	60.97	59.98	83.31	64.14	42.15	78.37	37.83
Vicuna-13B-v1.5	55.41	57.08	81.24	56.67	51.51	74.66	11.30
Llama 2 13B-chat-hf	54.91	59.04	81.94	54.64	44.12	74.51	15.24
Llama 2-7B-hf	50.97	53.07	78.59	46.87	38.76	74.03	14.48

而在DataLearnerAI收集的大模型评测排行榜的结果中，DeciLM-7B的效果也是很明显的，在70亿参数规模中排名很靠前：

而基于PyTorch实现的DeciLM-7B的速度则是正常情况下7B模型的好几倍。如下图所示，在A100上，DeciLM-7B每秒生成的tokens数量达到328个，是Mistral 7B的1.83倍，是Llama2-7B的2.39倍！

DeciLM-7B

模型基本信息