SQLCoder2与SQLCoder-7B模型发布：7B参数规模与卓越性能

SQLCoder2与SQLCoder-7B模型简介

SQLCoder2与SQLCoder-7B是最新开源的两款模型，它们代表了在处理SQL查询方面的重大进步。SQLCoder2基于原始SQLCoder模型进行了显著改进，而SQLCoder-7B则是首个7B参数规模的模型，几乎与SQLCoder2有相同的性能表现。

SQLCoder模型的训练细节和参数信息

SQLCoder2是一款15B参数的大型语言模型(LLM)，它是StarCoder模型的微调实现版本。SQLCoder-7B则是基于Mistral-7B模型的微调实现。这两个模型都经过了手工制作的SQL查询的微调，难度逐渐增大。

这些模型的训练过程和数据挑选都进行了精心的调整，以解决原始SQLCoder在处理日期时间函数时的困难，以及有时会幻想出列名或表名的问题。此外，社区对能够部署在较小GPU上的小型模型有很大需求，而不是需要30GB或更多GPU VRAM才能运行的15B参数模型。

SQLCoder模型的性能和评估结果

在开源评估框架中，SQLCoder在训练中未见过的新模式上超越了所有可用的大型语言模型，除了GPT-4。当这些模型针对特定模式进行微调时，其性能显著优于GPT-4。

SQLCoder模型总结

SQLCoder2与SQLCoder-7B模型的发布，不仅解决了原模型的一些问题，还为生产环境中的使用提供了更合适的选择。这两款模型的开源，意味着用户可以更方便地访问和使用它们，无论是通过GitHub还是Huggingface，都可以找到模型权重。同时，用户也可以通过提供的交互式演示来在线体验模型。

原文链接：SQLCoder2 and SQLCoder-7B Release
GitHub链接：SQLCoder GitHub Repo
Huggingface链接：SQLCoder on Huggingface
交互式演示：SQLCoder Interactive Demo