加载中...
加载中...
XVERSE-13B
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
元象科技开源的大语言模型，免费商用授权，XVERSE-13B一个重要的特点是多语种的支持，官方说明它是在多样化的数据上对模型进行充分训练，包含中、英、俄、西等 40 多种语言，评测结果中对于中文和英文的支持非常优秀，英文的理解水平超过Baichuan-13B，与ChatGLM2-12B持平（MMLU），中文水平也是如此（C-Eval）评价。
评测结果如下：
| 模型数据集 | MMLU | C-Eval | AGIEval1 | GAOKAO-Bench1 | GAOKAO-English1 |
|---|---|---|---|---|---|
| Baichuan-13B | 51.62 | 53.63 | 40.5 | 45.9 | 56.9 |
| Llama-1-13B | 46.94 | 28.8 | 27.3 | 26.4 | 38.1 |
| Llama-2-13B | 54.84 | 35.6 | 33.4 | 35.4 | 60.6 |
| moss-moon-003-base (16B) | 24.7 | 33.13 | 26.8 | 28.5 | 34.7 |
| OpenLLaMA-13B | 42.4 | 24.7 | 24.0 | 25.6 | 33.3 |
| OPT-13B | 25.2 | 25.0 | 24.2 | 24.4 | 31.1 |
| Pythia-12B | 25.1 | 26.2 | 25.3 | 25.3 | 26.8 |
| Ziya-LLaMA-13B-Pretrain-v1 | 43.9 | 30.2 | 27.2 | 26.4 | 37.6 |
| XVERSE-13B | 55.1 | 54.7 | 41.4 | 53.9 | 66.5 |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
