StarCodeBase

StarCodeBase与StarCode一样，都是来自BigCode的开源编程大模型。二者都是GPT-2的架构，唯一的区别是StarCodeBase是在80多种编程语言上训练的，基于1万亿tokens的数据集训练。而StarCode则是前面基础上，继续在350亿的python tokens上训练。