ST

StableCode-Completion-Alpha-3B-4K

StableCode-Completion-Alpha-3B-4K

发布时间: 2023-08-08385
模型参数
30.0
上下文长度
4K
中文支持
不支持
推理能力

模型基本信息

推理过程
不支持
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-08-08
模型文件大小
6.08GB
推理模式
暂无模式数据

开源和体验地址

代码开源状态
预训练权重开源
Apache 2.0- 免费商用授权
在线体验
暂无在线体验地址

官方介绍与博客

DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。

评测得分

当前尚无可展示的评测数据。

发布机构

模型解读

StableCode-Completion-Alpha-3B-4K 是一个具有30亿参数的仅解码器的代码补全模型,它在多种编程语言上进行了预训练,这些编程语言在stackoverflow开发者调查中名列前茅。


模型细节

  • 开发者:Stability AI
  • 模型类型:基于transformer解码器架构的自回归语言模型
  • 语言:代码
  • 库:GPT-NeoX
  • 许可证:预训练结果在Apache 2.0许可证下授权

模型架构

  • 参数:2,796,431,360
  • 隐藏大小:2560
  • 层数:32
  • 头部:32
  • 序列长度:4096

训练
StableCode-Completion-Alpha-3B-4k在bigcode/starcoder-data上预训练,上下文长度为4096,总共有3000亿tokens。


使用和限制
StableCode-Completion-Alpha-3B-4K可以独立生成新的代码补全,但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B-4K,以识别并(如有必要)归因于与训练代码匹配的任何输出。