加载中...
加载中...
Follow DataLearner WeChat for the latest AI updates

微软发布了全新的Phi-4推理模型系列,是小型语言模型(SLM)在复杂推理能力上的一种新的尝试。本次发布包含三个不同规模和性能的推理模型,分别是Phi-4-reasoning(140亿参数)、Phi-4-reasoning-plus(增强版140亿参数)和Phi-4-Mini-Reasoning(38亿参数)。这三款模型尽管参数规模远小于当前主流大型语言模型,却在多项推理基准测试中展现出与甚至超越大型模型的能力。

微软Phi系列模型是由微软研究院开发的一系列“小型语言模型”(Small Language Models, SLMs)。与业界追求更大参数量的趋势不同,Phi系列模型的核心理念是通过使用精心筛选的高质量、"教科书级别"的训练数据,在相对较小的模型规模下实现卓越的性能,特别是在常识推理、语言理解和逻辑推理等方面。
在2025年2月底,微软就开源了第四代Phi-4系列,不过当时微软开源的是没有推理能力的版本,并表示他们在训练Phi-4的推理版本。而2个月后的今天,微软就发布了3个推理版Phi-4-reasoning系列。
Phi-4-reasoning系列包含3个不同的版本,Phi-4-mini应该是重新训练的,而Phi-4-reasoning以及Phi-4-reasoning-plus则是基于Phi-4微调得到的。 由于参数规模较小,即使是最大参数规模版本的Phi-4-reasoning也只用了2.5天时间,32个H100-80G的卡训练完成,可以说十分高效。而Phi-4-mini的训练时间也就2天。
Phi-4-Mini-Reasoning是一个仅有38亿参数的紧凑型推理模型,专为数学推理任务进行了优化。尽管参数量极小,该模型却能在多项数学推理基准测试中超越参数量接近两倍的竞品模型。该模型最高支持128K上下文,在1500亿数据集上训练得到,知识的截止日期也是2025年2月份,可以说非常新了。
Phi-4-Mini-Reasoning模型相关信息如下:
与业界其它模型对比,Phi-4-mini-reasoning也在评测结果上表现亮眼:
可以看到,Phi-4-mini-reasoning模型在多个任务上都非常不错,甚至在MATH-500上超过了OpenAI o1-mini模型。
Phi-4-Mini-Reasoning展示了通过精心设计的训练流程,极小规模模型也能实现强大的推理能力,为边缘计算设备和资源受限环境提供了高质量AI推理解决方案。
Phi-4-Reasoning是一个拥有140亿参数的开放权重推理模型,通过对Phi-4基础模型进行监督微调而来。该模型通过使用从OpenAI o3-mini中精心筛选的推理演示数据进行训练(问题收集自公开数据,答案来自OpenAI o3-mini),能够生成详细的推理链,有效利用推理时间计算资源解决复杂问题(OpenAI官方是不允许使用OpenAI模型生成的数据进行训练的,而作为金主爸爸的微软看样子是有特权~)。这份数据集大约有140万问答对。
不过相比较Phi-4-mini-reasoning,Phi-4-Reasoning模型支持的最大上下文只有32K了。一共在160亿tokens上训练,其中大约一半的tokens是不重复的。
Phi-4-Reasoning的成功证明,通过精心的数据策划和高质量训练,小型模型也能在复杂推理任务上实现突破性进展,为资源受限环境下的高性能AI应用提供了新可能。
Phi-4-Reasoning-Plus建立在Phi-4-Reasoning的基础上,保持相同的140亿参数量,但通过额外的强化学习训练显著提升了推理性能。这款模型代表了微软在小型推理模型领域的最高技术水平。Phi-4-Reasoning-Plus使用比Phi-4-Reasoning多1.5倍的tokens进行推理,提供更高准确性,性能接近甚至超过拥有6710亿参数的DeepSeek-R1模型
从这个表格我们可以看到如下结论:
总之,这些结果虽然无法完全替代模型的真实感受,但是微软发布的论文和技术报告中还是有非常多值得细究的内容的。
微软Phi-4推理模型系列的发布,再次证明了精心设计的小型模型在推理任务上的巨大潜力。从140亿参数的Phi-4-reasoning到仅有38亿参数的Phi-4-Mini-Reasoning,这些模型都在各自的规模级别上实现了与大型模型相媲美甚至超越的性能,尽管很多时候Phi系列的评测结果高于大家的感知结果,但这毕竟是一个非常值得持续投入的方向。
通过不断推进小型模型的能力边界,微软为学术界和小型研究团队提供了可负担的AI研究路线。相比动辄需要数千亿参数的大型模型,Phi系列模型的规模使得更多研究团队能够参与到模型改进和应用创新中来。
最重要的是,这三个模型均是MIT开源协议开源,意味着可以完全免费商用。关于模型更多的信息和开源地址,参考DataLearnerAI的模型信息卡: Phi-4-mini-reasoning:https://www.datalearner.com/ai-models/pretrained-models/Phi-4-mini-reasoning Phi-4-reasoning:https://www.datalearner.com/ai-models/pretrained-models/Phi-4-reasoning Phi-4-reasoning-plus:https://www.datalearner.com/ai-models/pretrained-models/Phi-4-reasoning-plus