Orion-14B-Base

Orion-14B-Base是猎豹移动投资的企业猎户星座开源的一个大语言模型。该模型主要特点如下：

• 基于2.5万亿tokens数据集预训练得到；
• 在200亿参数规模的大模型中表现优异；
• 支持多语言，包括中文、英文、韩文和日语；
• 在200K上下文下表现很好，最高支持320K上下文输入长度；
• 量化版本模型大小减少70%，推理速度提升30%，但是性能损失不到1%；

Orion-14B模型评测结果

官方公布了Orion-14B模型的评测结果，但是主要是语言理解这块，MMLU几乎和GPT-3.5差不多，也和650亿参数的其它模型差不多。不过需要注意的时候，GSM8K这个测评以及代码编程能力结果并未公布！DataLearnerAI的大模型评测按照MMLU排序结果如下：

上述网址参考： https://www.datalearner.com/ai-models/llm-evaluation 

可以说Orion-14B非常优秀：

按照这个MMLU得分69.9估计的话，与GPT-3.5和Mistral-7B-MoE接近。Mixtral-8×7B-MoE是专家混合模型，参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE 

更重要的是，Orion-14B模型在多语言上表现也很好：

从这个对比看，汉语和日语表现不输中文。

Orion-14B模型版本

Orion-14B官方共发布了7个版本：