StableCode-Completion-Alpha-3B-4K

StableCode-Completion-Alpha-3B-4K 是一个具有30亿参数的仅解码器的代码补全模型，它在多种编程语言上进行了预训练，这些编程语言在stackoverflow开发者调查中名列前茅。

模型细节：

• 开发者：Stability AI
• 模型类型：基于transformer解码器架构的自回归语言模型
• 语言：代码
• 库：GPT-NeoX
• 许可证：预训练结果在Apache 2.0许可证下授权

模型架构：

• 参数：2,796,431,360
• 隐藏大小：2560
• 层数：32
• 头部：32
• 序列长度：4096

训练：
StableCode-Completion-Alpha-3B-4k在bigcode/starcoder-data上预训练，上下文长度为4096，总共有3000亿tokens。

使用和限制：
StableCode-Completion-Alpha-3B-4K可以独立生成新的代码补全，但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B-4K，以识别并（如有必要）归因于与训练代码匹配的任何输出。