加载中...
加载中...
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

Devstral Small 1.1是一个开源的、参数量为240亿、针对编程任务优化的的大模型。在2024年5月,MistralAI已经开源了Devstral Small 1.0版本,仅2个月后的今天,Devstral Small 1.1就迎来了更新。相较于1.0版本,Devstral Small 1.1在SWE-Bench Verified得分提升了约14.5%,可以说进步非常明显。
SWE-Bench是一个包含2294个任务实例的编程评测基准,每个任务都来源于12个流行的开源Python代码库,涉及真实的GitHub Issue和Pull Request (PR)。它非常接近真实世界的软件工程问题,因此难度非常高。SWE-bench Verified是对原始SWE-bench测试集的优化版本,通过人工验证和改进,解决了原测试集中存在的一些关键问题。因此,这一评测对于评估大模型解决真实编程任务的水平非常有参考价值。
本次MistralAI开源的Devstral Small 1.1得分高达53.6,仅比GPT-4.1低1分,但超过了旧版本的DeepSeek Coder R1,可以说表现非常惊艳。而且,该模型完全开源(采用Apache 2.0协议),并提供免费商用授权。
Devstral Medium是Devstral Small的升级版。与2024年5月发布的Devstral Small 1.0模型不同,2024年7月的Devstral Medium是首次发布,其SWE-Bench Verified得分达到了61.6,进步非常明显!这个成绩已经超过了Gemini 2.5 Pro。
不过,Devstral Medium是一个闭源模型,MistralAI提供了官方API,也可以帮助企业进行私有化部署 (On-Premises)。值得注意的是,它的价格只有Gemini 2.5 Pro的1/4,而其编程能力却可与Gemini 2.5 Pro相媲美。
这三个模型的对比结果可以参考DataLearnerAI的模型对比:https://www.datalearner.com/ai-models/pretrained-models/compare/details?modelIds=622,621,623
大模型在编程领域的竞争日趋激烈。虽然头部企业的通用大模型十分强大,但像MistralAI这样提供性能接近、成本更低的专业编程模型,无疑为许多应用开发者提供了极具吸引力的替代方案。
关于Devstral Medium和Devstral Small模型更多的信息,可参考DataLearnerAI的模型信息卡地址。
Devstral Medium:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Medium Devstral Small 1.1:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2507 Devstral Small 1.0:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2505