Stable AI发布12B参数多语言大模型Stable LM 2 12B
2024-04-12Stable AI大语言模型多语言模型Stable LM 2 12B开源模型
近日，Stable AI发布了旗下Stable LM 2语言模型系列的最新成员：一个120亿参数的基础模型和一个经过指令调优的变体模型，它们都在包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语在内的7种语言上，使用2万亿token进行了训练。这一中型模型在性能表现、计算效率、内存需求和推理速度之间取得了良好的平衡，延续了此前发布的Stable LM 2 1.6B模型的技术框架。随着这一版本的发布，Stable AI进一步扩展了其模型产品矩阵，为开发者提供了一个透明且强大的工具，助力其在AI语言技术领域进行创新。
同时，Stable AI还发布了Stable LM 2 1.6B模型的新版本，在保持极低系统需求的同时，进一步增强了该模型在上述7种语言上的对话能力。此前发布的Stable LM 2 1.6B在Open LLM Leaderboard上已经取得了领先的位置，展现出其卓越的性能。
Stable LM 2 12B的主要特点
- 专为多语言任务优化的高效开源模型，仅需普通硬件即可流畅运行
- 能够处理许多通常需要更大规模模型的任务，如大型MoE模型
- 指令调优版本在工具使用和函数调用方面表现出色，非常适合用作检索增强型系统的核心部分
- 在Open LLM Leaderboard和MT-Bench等通用基准测试中展现出强劲的zero-shot和few-shot表现
与其他模型的性能对比
我们将Stable LM 2 12B与其他流行的强大语言模型进行了比较，如下表所示：
| 模型 | 参数量 | Open LLM Leaderboard得分(指令模型) | Open LLM Leaderboard得分(基础模型) | 0-Shot NLP任务表现(基础模型) |
|---|---|---|---|---|
| Stable LM 2 12B | 120亿 | 57.2 | 49.2 | 优秀 |
| Mixtral (MoE) | 130亿有效/470亿总计 | 66.6 | - | - |
| Llama2-13B | 130亿 | 69.6 | 59.6 | 优秀 |
| Llama2-70B | 700亿 | 78.6 | - | - |
| Qwen 1.5 | 140亿 | - | 60.3 | - |
| Gemma | 85亿 | - | 38.8 | - |
| Mistral | 70亿 | - | - | 中等 |
可以看出，Stable LM 2 12B在各项评测中的表现都非常亮眼，尤其作为一个开源模型，展现出了媲美商业模型的能力，而其计算资源需求却要低得多。
通过此次发布，Stable AI将Stable LM 2模型系列扩展到了120亿参数的量级，提供了一个开放透明且性能卓越的模型，有望帮助开发者和企业在保留对数据的完全控制的同时，持续推动AI语言技术的发展。
如果你对Stable LM 2 12B的商业应用感兴趣，可以访问Stability AI的官网或联系他们的商务团队以了解更多信息。你也可以在Hugging Face上直接试用Stable LM 2 12B模型。