SQLCoder2与SQLCoder-7B发布：7B参数规模与卓越性能

标签：AI,大模型,SQLCoder,开源,性能时间：2023-11-26T21:23:04

<h3 id="h3-sqlcoder2-sqlcoder-7b-"><a name="SQLCoder2与SQLCoder-7B模型简介" class="reference-link"></a><span class="header-link octicon octicon-link"></span>SQLCoder2与SQLCoder-7B模型简介</h3><p>SQLCoder2与SQLCoder-7B是最近开源的两款大型语言模型（LLM），它们代表了在自然语言处理和数据库查询生成领域的一次重大进步。SQLCoder2是原SQLCoder模型的改进版本，而SQLCoder-7B则是首个7B参数规模的模型，它们在未见过的新架构上的性能几乎与SQLCoder2相同。</p>
<h3 id="h3-sqlcoder-"><a name="SQLCoder模型的训练细节及参数信息" class="reference-link"></a><span class="header-link octicon octicon-link"></span>SQLCoder模型的训练细节及参数信息</h3><p>SQLCoder2是一个15B参数的LLM，是StarCoder的微调实现版本。SQLCoder-7B则是Mistral-7B模型的微调实现。这两个模型都是在不断增加难度的手工制作的SQL查询上进行微调的。</p>
<h3 id="h3-sqlcoder-"><a name="SQLCoder模型的性能及评估结果" class="reference-link"></a><span class="header-link octicon octicon-link"></span>SQLCoder模型的性能及评估结果</h3><p>在开源的评估框架上，SQLCoder在训练中未见过的新架构上的性能超越了除GPT-4外的所有可用LLM。当在特定架构上进行微调时，它们的性能甚至超越了所有模型，包括GPT-4。</p>
<h3 id="h3-sqlcoder-"><a name="SQLCoder模型总结" class="reference-link"></a><span class="header-link octicon octicon-link"></span>SQLCoder模型总结</h3><p>SQLCoder2与SQLCoder-7B解决了原SQLCoder在日期时间函数处理上的不足，以及有时会幻想列名或表名的问题，更适合生产环境使用。它们的发布满足了社区对于能够部署在更小GPU上的小型模型的需求。</p>
<p>您可以通过以下链接探索SQLCoder2模型：<a href="https://defog.ai/sqlcoder-demo">SQLCoder交互式演示</a>。</p>
<p>同时，您可以在这里找到我们的<a href="https://github.com/sqlcoder">GitHub仓库</a>，以及在<a href="https://huggingface.co/sqlcoder">Huggingface</a>上找到我们的模型权重。</p>

SQLCoder2与SQLCoder-7B发布：7B参数规模与卓越性能

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客