Orion-14B-Chat - Orion-14B-Chat

模型详细情况和参数

Orion-14B-Chat

模型全称
Orion-14B-Chat
模型简称
Orion-14B-Chat
模型类型
基础大模型
发布日期
2024-01-22
预训练文件大小
28GB
是否支持中文(中文优化)
最高支持的上下文长度
200K
模型参数数量(亿)
140.0
模型代码开源协议
Apache 2.0
预训练结果开源商用情况
Orion-14B Series Models Community License - 免费商用授权
在线演示地址
暂无
DataLearnerAI的模型介绍
基础模型
无基础模型

Orion-14B-Chat 简介

Orion-14B-Base是猎豹移动投资的企业猎户星座开源的一个大语言模型。该模型主要特点如下:

基于2.5万亿tokens数据集预训练得到;

在200亿参数规模的大模型中表现优异;

支持多语言,包括中文、英文、韩文和日语;

在200K上下文下表现很好,最高支持320K上下文输入长度;

量化版本模型大小减少70%,推理速度提升30%,但是性能损失不到1%;


Orion-14B模型评测结果


官方公布了Orion-14B模型的评测结果,非常优秀:


ModelC-EvalCMMLUMMLUAGIEvalGaokaoBBH
LLaMA2-13B41.438.455.030.918.245.6
Skywork-13B59.161.462.743.656.148.3
Baichuan2-13B59.061.359.537.445.649.0
QWEN-14B71.770.267.951.962.553.7
InternLM-20B58.859.062.144.645.552.5
Orion-14B-Base72.970.669.954.762.156.5


按照这个MMLU得分69.9估计的话,与GPT-3.5和Mistral-7B-MoE接近。Mixtral-8×7B-MoE是专家混合模型,参考: https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE 


应该说这个分数很优异了。


更重要的是,Orion-14B模型在多语言上表现也很好:


ModelTrain LangJapaneseKoreanChineseEnglish
PLaMo-13BEn,Jp52.3***
Weblab-10BEn,Jp50.7***
ELYZA-jp-7BEn,Jp48.8***
StableLM-jp-7BEn,Jp51.1***
KoGPT-6BEn,Ko*70.1**
Polyglot-ko-13BEn,Ko*70.7**
Baichuan2-13BMulti57.158.750.857.1
Qwen-14BMulti65.873.764.565.4
Llama2-13BMulti46.363.741.455.3
Yi-34BMulti67.172.258.768.8
Orion-14B-ChatMulti69.179.567.967.3


从这个对比看,汉语和日语表现不输中文



Orion-14B模型版本


Orion-14B官方共发布了7个版本:

Orion-14B模型版本模型简介HuggingFace下载链接
⚾Orion-14B-Base140亿参数的基座版本Orion-14B-Base
😛Orion-14B-Chat在基座版本上针对对话进行调优的版本,适合对话Orion-14B-Chat
📃Orion-14B-LongChat长上下文优化的对话版本Orion-14B-LongChat
🔎Orion-14B-Chat-RAG针对检索生成优化的版本Orion-14B-Chat-RAG
🔌Orion-14B-Chat-Plugin针对插件优化的版本Orion-14B-Chat-Plugin
💼Orion-14B-Base-Int4基座模型的Int4量化版本Orion-14B-Base-Int4
📦Orion-14B-Chat-Int4聊天对齐模型的Int4量化版本Orion-14B-Chat-Int4


Orion-14B模型开源情况

Orion-14B模型的代码均是Apache2.0开源协议,完全免费商用,预训练结果可以免费商用,但是需要取得书面授权需求可。

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

Orion-14B-Chat所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

Orion-14B-Chat相关的任务
问答系统

问答系统

Question Answering

35个资源