MistralAI发布全新编程大模型:24B开源Devstral Small 1.1在SWE-Bench Verified评分超过旧版DeepSeek R1,编程大模型新的替代

标签:#DevstralMedium##DevstralSmall##MistralAI##编程大模型##领域大模型# 时间:2025/07/11 20:06:06 作者:小木

编程大模型一直是人工智能领域中进展最快的方向之一。因为编程能力更强的模型,通常在逻辑思维、工具调用上也有更好的表现,在很多领域,特别是Agent领域有很大的应用价值。今天,法国人工智能明星公司MistralAI发布了2个全新的编程大模型,分别是Devstral MediumDevstral Small 1.1,后者是一个开源的240亿参数的编程大模型。

MistralAI发布全新编程大模型:24B开源Devstral Small 1.1在SWE-Bench Verified评分超过旧版DeepSeek R1,编程大模型新的替代

[TOC]

Devstral Small 1.1:竞争力极强的开源新选择

Devstral Small 1.1是一个开源的、参数量为240亿、针对编程任务优化的的大模型。在2024年5月,MistralAI已经开源了Devstral Small 1.0版本,仅2个月后的今天,Devstral Small 1.1就迎来了更新。相较于1.0版本,Devstral Small 1.1在SWE-Bench Verified得分提升了约14.5%,可以说进步非常明显。

SWE-Bench是一个包含2294个任务实例的编程评测基准,每个任务都来源于12个流行的开源Python代码库,涉及真实的GitHub Issue和Pull Request (PR)。它非常接近真实世界的软件工程问题,因此难度非常高。SWE-bench Verified是对原始SWE-bench测试集的优化版本,通过人工验证和改进,解决了原测试集中存在的一些关键问题。因此,这一评测对于评估大模型解决真实编程任务的水平非常有参考价值。

Devstral Small 1.1模型与其它模型的对比

数据来源:https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=35&modelInputString=623,622,492,553

本次MistralAI开源的Devstral Small 1.1得分高达53.6,仅比GPT-4.1低1分,但超过了旧版本的DeepSeek Coder R1,可以说表现非常惊艳。而且,该模型完全开源(采用Apache 2.0协议),并提供免费商用授权

Devstral Medium:性能卓越的闭源模型,价格优势显著

Devstral Medium是Devstral Small的升级版。与2024年5月发布的Devstral Small 1.0模型不同,2024年7月的Devstral Medium是首次发布,其SWE-Bench Verified得分达到了61.6,进步非常明显!这个成绩已经超过了Gemini 2.5 Pro

Destral Medium的SWE Bench Verified评分

数据来源DataLearnerAI的SWE-Bench Verified排行榜:https://www.datalearner.com/ai-models/llm-benchmark-tests/35

不过,Devstral Medium是一个闭源模型,MistralAI提供了官方API,也可以帮助企业进行私有化部署 (On-Premises)。值得注意的是,它的价格只有Gemini 2.5 Pro的1/4,而其编程能力却可与Gemini 2.5 Pro相媲美。

这三个模型的对比结果可以参考DataLearnerAI的模型对比:https://www.datalearner.com/ai-models/pretrained-models/compare/details?modelIds=622,621,623

Devstral模型总结

大模型在编程领域的竞争日趋激烈。虽然头部企业的通用大模型十分强大,但像MistralAI这样提供性能接近、成本更低的专业编程模型,无疑为许多应用开发者提供了极具吸引力的替代方案

关于Devstral Medium和Devstral Small模型更多的信息,可参考DataLearnerAI的模型信息卡地址。

Devstral Medium:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Medium
Devstral Small 1.1:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2507
Devstral Small 1.0:https://www.datalearner.com/ai-models/pretrained-models/Devstral-Small-2505

欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
相关博客