Replit Code V1 3B

2023年5月3日，Replit Code V1-3b正式发布，并在HuggingFace上开源。模型也有了更多的细节。

首先，Replit Code V1-3b模型主要关注代码补全的能力，基于Stack Dedup v1.2数据集的一个子集进行训练，共包含5250亿个tokens（数据集本身只有1750亿tokens，Replit将其重复了3个Epochs）。

Replit Code V1-3b支持20种编程语言的补全能力：

• Markdown
• Java
• JavaScript
• Python
• TypeScript
• PHP
• SQL
• JSX
• reStructuredText
• Rust
• C
• CSS
• Go
• C++
• HTML
• Vue
• Ruby
• Jupyter Notebook
• R
• Shell

Replit Code V1-3b模型使用MosaicML平台训练，这是一个针对大语言模型设计的一个训练平台，包括Replit、StabilityAI等公司都在使用它的产品。总的来说，Replit Code V1-3b的主要信息如下：

注意，该模型可以商用，协议非常友好~

下图是官方代码补全的实例，来自HuggingFace上的演示：

------------------以下内容是2023年4月26日官方推特上的信息总结-----------------------------

Replit Code V1-3b是Replit发布的一个大模型，用以生成代码的工具。模型大27亿参数。支持20种编程语言，基于5250亿个tokens进行训练。训练了10天后比现有所有的开源模型效果都好（基于人工评估）。

replit-code-v1-3b模型主要是用于单行代码补全。它还有个兄弟模型名字是replit-finetuned-v1-3b，目前看这个模型的效果更好，但是可能不会开源。在开源模型对比结果中，replit-finetuned-v1-3b排行第一，replit-code-v1-3b排名第三。第二名的CodeGeeX是清华大学发布的模型： https://www.datalearner.com/ai-models/pretrained-models/CodeGeeX  参数规模130亿~~

与商业模型相比，replit-code-v1-3b和replit-finetuned-v1-3b排行也非常好，而且它们也是参数最小的2个模型。这意味着，它可能仅仅用27亿参数就完成了别人上百亿参数模型的能力。

目前，只是透露了训练进展，正式发布还需要待定~~而且，它们70亿参数版本也正在训练中！