Replit Code V1 3B 是由 Replit 发布的 AI 模型，发布时间为 2023-04-26，定位为 编程大模型，参数规模约为 27亿，上下文长度为 2K，模型文件大小约 10.4GB，采用 CC BY-SA-4.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
发布机构
模型解读
2023年5月3日，Replit Code V1-3b正式发布，并在HuggingFace上开源。模型也有了更多的细节。
首先，Replit Code V1-3b模型主要关注代码补全的能力，基于Stack Dedup v1.2数据集的一个子集进行训练，共包含5250亿个tokens（数据集本身只有1750亿tokens，Replit将其重复了3个Epochs）。
Replit Code V1-3b支持20种编程语言的补全能力：
- Markdown
- Java
- JavaScript
- Python
- TypeScript
- PHP
- SQL
- JSX
- reStructuredText
- Rust
- C
- CSS
- Go
- C++
- HTML
- Vue
- Ruby
- Jupyter Notebook
- R
- Shell
Replit Code V1-3b模型使用MosaicML平台训练，这是一个针对大语言模型设计的一个训练平台，包括Replit、StabilityAI等公司都在使用它的产品。总的来说，Replit Code V1-3b的主要信息如下：
| 信息项 | 信息结果 |
|---|---|
| 模型名称 | Replit Code V1-3b |
| 针对的任务 | 代码补全 |
| 支持的编程语言数 | 20种，包括Python、Java、C等 |
| 训练数据 | Stack Dedup v1.2数据集子集 |
| 训练tokens数 | 1750*3=5250 |
| 训练平台 | MosaicML |
| 使用的GPU | 256个40G的A100 |
注意，该模型可以商用，协议非常友好~
下图是官方代码补全的实例，来自HuggingFace上的演示：
------------------以下内容是2023年4月26日官方推特上的信息总结-----------------------------
Replit Code V1-3b是Replit发布的一个大模型，用以生成代码的工具。模型大27亿参数。支持20种编程语言，基于5250亿个tokens进行训练。训练了10天后比现有所有的开源模型效果都好（基于人工评估）。
replit-code-v1-3b模型主要是用于单行代码补全。它还有个兄弟模型名字是replit-finetuned-v1-3b，目前看这个模型的效果更好，但是可能不会开源。在开源模型对比结果中，replit-finetuned-v1-3b排行第一，replit-code-v1-3b排名第三。第二名的CodeGeeX是清华大学发布的模型： https://www.datalearner.com/ai-models/pretrained-models/CodeGeeX 参数规模130亿~~
与商业模型相比，replit-code-v1-3b和replit-finetuned-v1-3b排行也非常好，而且它们也是参数最小的2个模型。这意味着，它可能仅仅用27亿参数就完成了别人上百亿参数模型的能力。
目前，只是透露了训练进展，正式发布还需要待定~~而且，它们70亿参数版本也正在训练中！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
