StableCode-Completion-Alpha-3B
StableCode-Completion-Alpha-3B 是由 Stability AI 发布的 AI 模型，发布时间为 2023-08-08，定位为 编程大模型，参数规模约为 30亿，上下文长度为 16K，模型文件大小约 6.08GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
发布机构
模型解读
StableCode-Completion-Alpha-3B 是一个拥有30亿参数的仅解码器的代码补全模型，它在基于2023年stackoverflow开发者调查的最常用编程语言的多样化集合上进行了预训练。
该模型旨在从长达16k令牌的长上下文窗口中完成单行/多行代码补全。
模型细节
开发者：Stability AI
模型类型：基于变压器解码器架构的自回归语言模型。
语言：
代码库：GPT-NeoX
许可证：模型检查点根据Apache 2.0许可证授权。
模型架构
参数：2,796,431,360
隐藏大小：2560
层数：32
头部：32
序列长度：16384
训练
StableCode-Completion-Alpha-3B 使用多阶段上下文长度扩展计划进行预训练，首先在4096的上下文长度下预训练3000亿令牌，然后在16384的上下文长度下对另外200B令牌进行微调。
使用和限制
预期用途：StableCode-Completion-Alpha-3B 可以独立生成新的代码补全，但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B，以识别并（如有必要）归因于与训练代码匹配的任何输出。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
