StableCode-Instruct-Alpha-3B

StableCode-Instruct-Alpha-3B 是一个具有30亿参数的仅解码器的指令调优代码模型，它在多种编程语言上进行了预训练，这些编程语言在stackoverflow开发者调查中名列前茅。

模型细节：

• 开发者：Stability AI
• 模型类型：基于transformer解码器架构的自回归语言模型
• 语言：代码
• 库：GPT-NeoX
• 许可证：模型检查点在StableCode Research License下授权
• 联系方式：有关模型的问题和评论，请发送电子邮件至 lm@stability.ai

模型架构：

• 参数：2,796,431,360
• 隐藏大小：2560
• 层数：32
• 头部：32
• 序列长度：4096

训练：
StableCode-Instruct-Alpha-3B 是在StableCode-Completion-Alpha-3B上进行指令微调的版本，使用代码指令数据集。

其他信息：

• 上个月的下载次数：9
• 模型大小：3.31B 参数
• 张量类型：BF16

这个模型可以按需加载到推理API上。