StableCode-Completion-Alpha-3B
StableCode-Completion-Alpha-3B is an AI model published by Stability AI, released on 2023-08-08, for 编程大模型, with 30.0B parameters, and 16K tokens context length, requiring about 6.08GB storage, under the Apache 2.0 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
StableCode-Completion-Alpha-3B 是一个拥有30亿参数的仅解码器的代码补全模型，它在基于2023年stackoverflow开发者调查的最常用编程语言的多样化集合上进行了预训练。
该模型旨在从长达16k令牌的长上下文窗口中完成单行/多行代码补全。
开发者：Stability AI
模型类型：基于变压器解码器架构的自回归语言模型。
语言：
代码库：GPT-NeoX
许可证：模型检查点根据Apache 2.0许可证授权。
参数：2,796,431,360
隐藏大小：2560
层数：32
头部：32
序列长度：16384
StableCode-Completion-Alpha-3B 使用多阶段上下文长度扩展计划进行预训练，首先在4096的上下文长度下预训练3000亿令牌，然后在16384的上下文长度下对另外200B令牌进行微调。
使用和限制
预期用途：StableCode-Completion-Alpha-3B 可以独立生成新的代码补全，但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B，以识别并（如有必要）归因于与训练代码匹配的任何输出。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
