英特尔Gaudi2加速器助力7B级聊天模型登顶LLM排行榜

英特尔Gaudi2加速器简介

英特尔Gaudi2 AI加速器由Habana Labs开发，旨在加速大型语言模型（LLM）的训练和推理过程。Gaudi2拥有96GB的集成内存，可通过英特尔开发者云或Supermicro和IEI的现场基础设施提供服务。

模型训练细节

为了开始监督式微调，我们选择了最新的mistralai/Mistral-7B-v0.1 Hugging Face作为基础LLM模型，因为它具有强大的基准测试结果，并且在Apache 2.0下商业友好。我们选用了Hugging Face上最新的高质量指令数据集Open-Orca/SlimOrca，并利用Intel Extension for Transformers提供的微调管道，配合DeepSpeed ZeRO-2进行训练。

模型性能评估

我们的模型在open_llm_leaderboard上表现出色，该排行榜使用Eleuther AI语言模型评估工具，是一个统一的框架，用于在大量不同的评估任务上测试生成语言模型。我们的模型在7B大小的LLM排行榜上名列第一。

模型总结

我们很高兴将NeuralChat这一商业友好的7B聊天模型发布给LLM社区。该模型在典型的生成语言模型基准测试中表现优于原始基础模型。我们期望NeuralChat能够帮助推动7B聊天模型部署的极限，并激励更多的研究人员和开发者开放他们的LLM。

如果您觉得这个项目有用，请给Intel Extension for Transformers仓库点一个星星⭐。我们也欢迎您创建拉取请求或提交问题或疑问到仓库。

参考链接：

• 模型：https://huggingface.co/Intel/neural-chat-7b-v3
• 数据集：https://huggingface.co/datasets/Open-Orca/SlimOrca
• 偏好数据集：https://huggingface.co/datasets/Intel/orca_dpo_pairs
• 代码库：https://github.com/intel/intel-extension-for-transformers