Stable Code 3B 简介

StabilityAI开源的27亿参数规模的编程大模型，StabilityAI认为，一个可以在消费级硬件上运行的强大的编程大模型对于实际应用来说非常有价值。为此他们开发了Stable Code 3B，这个模型在多个评测数据集上表现都不错。不过，在我们常见的HumanEval、MBPP评测上，StabilityAI并未公布其结果。

Stable Code 3B的预训练数据集包含大量的代码和自然语言文本。原因是StabilityAI希望Stable Code 3B可以在围绕软件开发的数学问题的理解、逻辑推理和处理复杂的技术文本方面有较好的表现。官方的技术文档透露，Stable Code 3B模型的训练数据中代码和自然文本比例约8：2。这些数据来自业界的数据和StabilityAI收集的结果。同时还包含用大模型合成的一些数据。