DataLearner logo
Back to LLM blog list

SQLCoder2与SQLCoder-7B模型发布:性能卓越,开源可用

2023-11-26AI大模型SQLCoder开源性能

SQLCoder2与SQLCoder-7B模型简介

SQLCoder2和SQLCoder-7B是最新开源的大模型,分别是对原始SQLCoder模型的显著改进和首个7B参数规模的模型。在开源评估框架中,SQLCoder在训练中未见过的新架构上的表现超越了所有可用的大型语言模型(LLM),除了GPT4。在对特定架构进行微调后,其表现甚至超过了所有模型,包括GPT-4。

SQLCoder2和SQLCoder-7B的训练细节

SQLCoder2是一个15B参数的LLM,是StarCoder的微调实现版本。SQLCoder-7B则是Mistral-7B模型的微调版本。这两个模型都在逐步增加难度的手工制作的SQL查询上进行了微调。

模型性能与评估结果

SQLCoder2和SQLCoder-7B在所有类别中的表现都很出色,除了GPT-4以外,它们击败了所有模型。当对这些模型进行特定架构的微调时,结果显著优于GPT-4。

SQLCoder模型的总结

SQLCoder2和SQLCoder-7B解决了原始SQLCoder在日期时间函数处理和偶尔幻想列名或表名方面的问题,并且更适合生产使用场景。这两款模型的开源,意味着更多的开发者和企业可以在较小的GPU上部署性能卓越的模型,推动AI领域的进一步发展。

你可以在这里通过UI探索我们的模型,或者在GitHubHuggingface上找到我们的模型权重。