SQLCoder

SQLCoder：自然语言转SQL的新星

SQLCoder简介

SQLCoder 是 Defog 团队推出的一款前沿的语言模型，专门用于将自然语言问题转化为 SQL 查询。这是一个拥有150亿参数的模型，在自然语言到 SQL 生成任务上，其性能略微超过了 gpt-3.5-turbo 并且显著地超越了所有流行的开源模型。更令人震惊的是，尽管 SQLCoder 的大小只有 text-davinci-003 的十分之一，但其性能却远超后者。

需要注意的是，目前SQLCoder是基于StarCoder（StarCoder参考： https://www.datalearner.com/ai-models/pretrained-models/StarCoder ）微调得到。它的代码开源协议是Apache 2.0，而模型预训练结果的开源协议是CC BY-SA-4.0并加上OpenRAIL-M clauses for responsible协议，运行大家免费商用。但是，如果你修改了该模型的权重，则必须也按照CC BY-SA-4.0协议开源，这意味着修改具有传染性！商用的用户需要注意！

SQLCoder的评测结果

SQLCoder的生成SQL准确率的测试如下：

SQLCoder主要特点

1. 性能对比：在 SQL 生成任务的评估框架上，SQLCoder（64.6%）的性能略微超过了 gpt-3.5-turbo（60.6%）。
2. 训练数据：Defog 在两个周期内对10,537个人工策划的问题进行了训练，这些问题基于10种不同的模式。
3. 使用方法：用户可以通过 transformers 库使用 SQLCoder，只需从 HuggingFace 仓库下载模型权重即可。此外，还提供了在线演示和 Colab 中的使用方法。
4. 硬件要求：SQLCoder 已在 A100 40GB GPU 上进行了测试，并支持 bfloat16 权重。用户还可以在拥有20GB或更多内存的消费级 GPU 上加载模型的8位量化版本，例如 RTX 4090、RTX 3090 和 Apple M2 系列芯片。

SQLCoder未来计划

• 开源 v1 模型权重（目前已经OK）。
• 在更多数据上训练模型，增加数据的差异性。
• 使用奖励建模和 RLHF 进一步调整模型。
• 从头开始预训练一个专门用于 SQL 分析的模型。

SQLCoder总结

SQLCoder 不仅为自然语言到 SQL 的转换任务设定了新的标准，而且展示了 Defog 团队在自然语言处理领域的卓越能力。对于那些希望将自然语言查询转化为 SQL 查询的开发者和研究者来说，这无疑是一个值得关注的工具。

SQLCoder的资源地址

SQLCoder详细简介： https://www.datalearner.com/blog/1051692667851329 

SQLCoder的在线演示地址： https://defog.ai/sqlcoder-demo/