Snowflake Arctic: 面向企业的高效智能大型语言模型

Snowflake Arctic: 面向企业的高效智能大型语言模型

大型语言模型(LLM)已经在各个领域展现出了强大的能力,但训练和推理成本高昂一直是制约其在企业级应用中大规模部署的主要障碍。为了解决这一问题,Snowflake公司的AI研究团队推出了一款名为Arctic的顶级企业级LLM,它在保持出色的企业智能能力的同时,极大降低了训练和推理成本,并完全开源。

高效智能

Arctic模型在编码、SQL生成和指令跟踪等关键企业基准测试中表现出色,甚至超过了那些使用更高计算预算训练的开源模型。它为Snowflake客户提供了以低成本创建高质量定制模型的新基准。

Arctic采用了创新的Dense-MoE混合架构,将一个10B参数的密集Transformer模型与一个128x3.66B参数的MoE MLP模块相结合,总参数量达到480B,但只有17B参数用于实际计算。这种设计基于以下三个关键洞见:

1. 更多但精简的专家和选择方式:Arctic使用了128个细粒度专家和Top-2门控机制,从480B参数中选择17B参数用于计算,显著提高了模型容量和灵活性。

   
   

2. 架构与系统协同设计:通过将密集Transformer与残差MoE模块相结合,Arctic能够在训练过程中隐藏通信开销,提高训练效率。

   
   

3. 面向企业的动态数据课程:Arctic采用了三阶段动态数据课程,先学习通用技能,后期侧重企业专用技能,有效提升了企业智能能力。

   
   

高效推理

除了训练效率之外,Arctic在推理效率方面也有突破性的进展。在小批量推理时,Arctic由于活跃参数少,内存带宽需求低,可实现高吞吐率。而在大批量推理时,Arctic的计算需求较低,可通过多节点并行推理实现高吞吐率。Snowflake与NVIDIA等合作伙伴密切合作,优化Arctic在各种场景下的推理性能。

真正开源

Arctic不仅开源了模型权重和代码,更重要的是,Snowflake公开分享了Arctic背后的研究见解和数据处理流程,为开源社区做出了重要贡献。

Snowflake发布了一本详细的”烹饪书”,介绍了Arctic模型的各个方面,包括预训练、微调、推理、评估、建模、数据、系统和基础设施等,分享了他们在探索MoE架构、数据组合、评估方法等方面的宝贵经验。该”烹饪书”旨在加速任何人构建世界级MoE模型的学习过程。

此外,Snowflake还在Apache 2.0许可下发布了Arctic的模型检查点和LoRA微调管道,并与NVIDIA等合作伙伴合作开发Arctic的推理实现,以支持交互式和大批量推理。

总结

Arctic代表了大型语言模型在企业级应用中的一个重要里程碑。它通过创新的架构设计和训练策略,实现了高效的训练和推理,同时保持了顶级的企业智能能力。更重要的是,Snowflake通过开源Arctic及其背后的研究见解,为推动开源社区的发展做出了重大贡献。我们有理由相信,在开源社区的共同努力下,面向企业的高效智能大型语言模型将会有更加广阔的发展前景。