DataLearner 标志

StableCode-Completion-Alpha-3B-4K

编程大模型StableCodeStableCode
发布时间: 2023-08-08更新于: 2023-08-09浏览量: 483
GitHubHugging Face对比
上下文长度
4K
是否开源
开源
Apache 2.0
参数 30亿
查看开源信息

StableCode-Completion-Alpha-3B-4K is the 4K-context version of Stability AI's first code completion model, released in August 2023 and trained on the most-used programming languages, under Apache 2.0.

数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法

StableCode-Completion-Alpha-3B-4K

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
编程大模型
输入/输出模态
暂无数据
发布时间
2023-08-08
模型文件大小
6.08GB
MoE架构
否
总参数 / 激活参数
30亿 / 不适用
知识截止
暂无数据
StableCode-Completion-Alpha-3B-4K

开源和体验地址

代码开源状态
Apache 2.0
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
github.com/EleutherAI/gpt-neox
Hugging Face
huggingface.co/stabilityai/stablecode-completio…
在线体验
暂无
StableCode-Completion-Alpha-3B-4K

官方介绍与博客

官方论文
Announcing StableCode
DataLearnerAI博客
暂无
StableCode-Completion-Alpha-3B-4K

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
StableCode-Completion-Alpha-3B-4K

发布机构

StableCode-Completion-Alpha-3B-4K

模型解读

StableCode-Completion-Alpha-3B-4K 是一个具有30亿参数的仅解码器的代码补全模型，它在多种编程语言上进行了预训练，这些编程语言在stackoverflow开发者调查中名列前茅。

模型细节：

  • 开发者：Stability AI
  • 模型类型：基于transformer解码器架构的自回归语言模型
  • 语言：代码
  • 库：GPT-NeoX
  • 许可证：预训练结果在Apache 2.0许可证下授权

模型架构：

  • 参数：2,796,431,360
  • 隐藏大小：2560
  • 层数：32
  • 头部：32
  • 序列长度：4096

训练：
StableCode-Completion-Alpha-3B-4k在bigcode/starcoder-data上预训练，上下文长度为4096，总共有3000亿tokens。

使用和限制：
StableCode-Completion-Alpha-3B-4K可以独立生成新的代码补全，但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B-4K，以识别并（如有必要）归因于与训练代码匹配的任何输出。

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送

DataLearner 官方微信二维码