Replit Code V1 3B
Replit Code V1 3B is an AI model published by Replit, released on 2023-04-26, for 编程大模型, with 27.0B parameters, and 2K tokens context length, requiring about 10.4GB storage, under the CC BY-SA-4.0 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
2023年5月3日，Replit Code V1-3b正式发布，并在HuggingFace上开源。模型也有了更多的细节。
首先，Replit Code V1-3b模型主要关注代码补全的能力，基于Stack Dedup v1.2数据集的一个子集进行训练，共包含5250亿个tokens（数据集本身只有1750亿tokens，Replit将其重复了3个Epochs）。
Replit Code V1-3b支持20种编程语言的补全能力：
Replit Code V1-3b模型使用MosaicML平台训练，这是一个针对大语言模型设计的一个训练平台，包括Replit、StabilityAI等公司都在使用它的产品。总的来说，Replit Code V1-3b的主要信息如下：
| 信息项 | 信息结果 |
|---|---|
| 模型名称 | Replit Code V1-3b |
| 针对的任务 | 代码补全 |
| 支持的编程语言数 | 20种，包括Python、Java、C等 |
| 训练数据 | Stack Dedup v1.2数据集子集 |
| 训练tokens数 | 1750*3=5250 |
| 训练平台 | MosaicML |
| 使用的GPU | 256个40G的A100 |
注意，该模型可以商用，协议非常友好~
下图是官方代码补全的实例，来自HuggingFace上的演示：
------------------以下内容是2023年4月26日官方推特上的信息总结-----------------------------
Replit Code V1-3b是Replit发布的一个大模型，用以生成代码的工具。模型大27亿参数。支持20种编程语言，基于5250亿个tokens进行训练。训练了10天后比现有所有的开源模型效果都好（基于人工评估）。
replit-code-v1-3b模型主要是用于单行代码补全。它还有个兄弟模型名字是replit-finetuned-v1-3b，目前看这个模型的效果更好，但是可能不会开源。在开源模型对比结果中，replit-finetuned-v1-3b排行第一，replit-code-v1-3b排名第三。第二名的CodeGeeX是清华大学发布的模型： https://www.datalearner.com/ai-models/pretrained-models/CodeGeeX 参数规模130亿~~
与商业模型相比，replit-code-v1-3b和replit-finetuned-v1-3b排行也非常好，而且它们也是参数最小的2个模型。这意味着，它可能仅仅用27亿参数就完成了别人上百亿参数模型的能力。
目前，只是透露了训练进展，正式发布还需要待定~~而且，它们70亿参数版本也正在训练中！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
