MistralAI发布全新编程大模型:24B开源Devstral Small 1.1在SWE-Bench Verified评分超过旧版DeepSeek R1,编程大模型新的替代
编程大模型一直是人工智能领域中进展最快的方向之一。因为编程能力更强的模型,通常在逻辑思维、工具调用上也有更好的表现,在很多领域,特别是Agent领域有很大的应用价值。今天,法国人工智能明星公司MistralAI发布了2个全新的编程大模型,分别是Devstral Medium和Devstral Small 1.1,后者是一个开源的240亿参数的编程大模型。

Devstral Small 1.1:竞争力极强的开源新选择
Devstral Small 1.1是一个开源的、参数量为240亿、针对编程任务优化的的大模型。在2024年5月,MistralAI已经开源了Devstral Small 1.0版本,仅2个月后的今天,Devstral Small 1.1就迎来了更新。相较于1.0版本,Devstral Small 1.1在SWE-Bench Verified得分提升了约14.5%,可以说进步非常明显。
SWE-Bench是一个包含2294个任务实例的编程评测基准,每个任务都来源于12个流行的开源Python代码库,涉及真实的GitHub Issue和Pull Request (PR)。它非常接近真实世界的软件工程问题,因此难度非常高。SWE-bench Verified是对原始SWE-bench测试集的优化版本,通过人工验证和改进,解决了原测试集中存在的一些关键问题。因此,这一评测对于评估大模型解决真实编程任务的水平非常有参考价值。

本次MistralAI开源的Devstral Small 1.1得分高达53.6,仅比GPT-4.1低1分,但超过了旧版本的DeepSeek Coder R1,可以说表现非常惊艳。而且,该模型完全开源(采用Apache 2.0协议),并提供免费商用授权。
Devstral Medium:性能卓越的闭源模型,价格优势显著
Devstral Medium是Devstral Small的升级版。与2024年5月发布的Devstral Small 1.0模型不同,2024年7月的Devstral Medium是首次发布,其SWE-Bench Verified得分达到了61.6,进步非常明显!这个成绩已经超过了Gemini 2.5 Pro。

不过,Devstral Medium是一个闭源模型,MistralAI提供了官方API,也可以帮助企业进行私有化部署 (On-Premises)。值得注意的是,它的价格只有Gemini 2.5 Pro的1/4,而其编程能力却可与Gemini 2.5 Pro相媲美。
这三个模型的对比结果可以参考DataLearnerAI的模型对比:https://www.datalearner.com/ai-models/pretrained-models/compare/details?modelIds=622,621,623
Devstral模型总结
大模型在编程领域的竞争日趋激烈。虽然头部企业的通用大模型十分强大,但像MistralAI这样提供性能接近、成本更低的专业编程模型,无疑为许多应用开发者提供了极具吸引力的替代方案。
关于Devstral Medium和Devstral Small模型更多的信息,可参考DataLearnerAI的模型信息卡地址。
Devstral Medium:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Medium
Devstral Small 1.1:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2507
Devstral Small 1.0:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2505
欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
