SlimPajama：CerebrasAI开源最新可商用的高质量大语言模型训练数据集，含6270亿个tokens！

大语言模型训练的一个重要前提就是高质量超大规模的数据集。为了促进开源大模型生态的发展，Cerebras新发布了一个超大规模的文本数据集SlimPajama，SlimPajama可以作为大语言模型的训练数据集，具有很高的质量。

<center>![](https://www.datalearner.com/resources/ai-org-logo/7bc8c8b7-05e2-4d78-9cc2-71b158b1884a.jpeg)</center>
<center></center>

除了SlimPajama数据集外，Cerebras此次还开源了处理原始数据的脚本，包括去重和预处理部分。官方认为，这是目前第一个开源处理万亿规模数据集的清理和MinHashLSH去重工具。

#### Cerebras为什么要发布SlimPajama数据集
SlimPajama数据集来自RedPajama的清洗和去重结果。

MetaAI发布的LLaMA模型中详细描述了他们是如何收集数据集的。而LLaMA的效果也证明了在高质量数据集上训练的重要性。尽管LLaMA开源了他们的预训练结果（不可商用），也在论文中详细描述了LLaMA如何训练。但是，LLaMA的训练数据集却从未公开。为此，TOGETHER联合多家公司发起了RedPajama项目。

RedPajama是一个开源大模型项目，由TOGETHER联合多家公司发起。目前包括一个开源的数据集，有1.2万亿tokens，严格按照LLaMA模型论文中的方法收集。

尽管RedPajama声称严格按照LLaMA论文描述来收集数据。但是Cerebras发现该数据集有2个问题，一个是有些语料中缺少了数据文件，另一个问题是里面包含了大量的重复数据。RedPajama采用的是LLaMA的不严格数据去重策略，不同语料之间也没有考虑去重。

重复的数据集对于大模型来说有很多不利的影响，包括重复训练的浪费、过拟合等。

为此，Cerebras决定亲自上场，基于RedPajama做进一步数据的处理，以提高数据集的质量。最终他们发布了SlimPajama数据集。

#### SlimPajama数据集简介
TOGETHER发布的RedPajama数据集包含1.21万亿的tokens。通过过滤重复数据和低质量数据集之后，SlimPajama去除了原始RedPajama的49.6的字节数，将1.21万亿的tokens降低到6270亿的tokens。

SlimPajama数据产生的过程如下，首先从RedPajama中去除短的、低质量的文档。在去除标点符号、空白符号、换行符和制表符之后，将短于200个字符的文档去除。这些文档大多数只包含meta数据，没有啥有用的信息。这个策略被用于所有语料，但不包含Books和GitHub数据集。因为他们发现这两个数据集中的短文本也有很大的价值。这样就去除了RedPajama的1.86%的文档，去除的主要部分包括：

|数据源|短文本去除比例|
|:----|:----|
|Commoncrawl|0.02%|
|C4|4.7%|
|GitHub|0.00%|
|Books|0.00%|
|ArXiv|0.62%|
|Wikipedia|0.00%|
|StackExchange|0.32%|
|Total|1.86%|

经过上述步骤之后，Cerebras使用MinHashLSH去重工具进行了去重，这是Cerebras基于2014年Leskovec等人的论文实现的去重工具，本次也开源了。最后，计算的各个数据集的重复率如下：

|数据源|Byte重复率|
|:----|:----|
|Commoncrawl|63.76%|
|C4|6.85%|
|GitHub|46.16%|
|books|2.01%|
|ArXiv|0.06%|
|Wikipedia|2.24%|
|StackExchange|0.20%|
|Total|49.60%|

最终得到了SlimPajama数据集。这是一个高质量广泛去重的数据集。基于这个数据集训练大模型，官方认为将会提高训练效率，甚至获得比原始模型更好的效果。

SlimPajama数据集完整的处理流程如下图所示：

<center>![](https://www.datalearner.com/resources/blog_images/657cc773-72c4-49dd-9933-b6d5d4619b69.png)</center>

#### SlimPajama数据集与其它数据集的对比
当前大语言模型都是在大规模数据集上训练的。而这些数据集通常来自于互联网上开放的数据集，包括维基百科、GitHub等。大多数大规模数据集来源都差不多，但是比例和处理方法不一样。

SlimPajama数据集成分和其它数据集对比如下：

|数据源|SlimPajama|RedPajama|LLaMA|MPT|RefinedWeb|MassiveText|
|:----|:----|:----|:----|:----|:----|:----|
|Commoncrawl|52.2%|72.6%|67.0%|10.0%|100%|0.0%|
|C4|26.7%|14.4%|15.0%|0.0%|0.0%|10.0%|
|GitHub|5.2%|4.9%|4.5%|0.0%|0.0%|4.0%|
|Books|4.2%|2.1%|4.5%|3.0%|0.0%|30.0%|
|ArXiv|4.6%|2.3%|2.5%|1.9%|0.0%|0.0%|
|Wikipedia|3.8%|2.0%|4.5%|4.0%|0.0%|1.0%|
|StackExchange|3.3%|1.7%|2.0%|1.4%|0.0%|0.0%|
|mC4 3.1.0 – English (200+ words)|0.0%|0.0%|0.0%|33.0%|0.0%|0.0%|
|C4 – English – SemDedup 80%|0.0%|0.0%|0.0%|29.9%|0.0%|0.0%|
|The Stack – Selected Languages|0.0%|0.0%|0.0%|10.0%|0.0%|0.0%|
|The Stack – Markdown|0.0%|0.0%|0.0%|3.5%|0.0%|0.0%|
|Semantic Scholar ORC|0.0%|0.0%|0.0%|3.3%|0.0%|0.0%|
|MassiveWeb|0.0%|0.0%|0.0%|0.0%|0.0%|45.0%|
|News|0.0%|0.0%|0.0%|0.0%|0.0%|10.0%|

可以看到，与RedPajama、LLaMA、RefinedWeb数据集相比，SlimPajama数据集不那么集中，且网络数据占比更低。Books、arXiv、Wikipedia数据集占比更高，这三类都是质量较高的数据集。

此外，SlimPajama还是基于Apache 2.0开源的数据集，这意味着更开放，对商用更加友好。与其它数据集相比如下：

|数据集名称|Tokens数量|是否开源|是否精选数据集|去重水平|
|:----|:----|:----|:----|:----|
|SlimPajama|6270亿|Yes|Yes|广泛去重|
|RedPajama|1.21万亿|Yes|Yes|部分去重|
|RefinedWeb-600B|6000亿|Yes|No|广泛去重|
|RefinedWeb-5T|5万亿|No|No|广泛去重|
|LLaMA|1.4万亿|No|Yes|部分去重|
|MPT|1万亿|No|Yes|部分去重|
|MassiveText|1.4万亿|No|Yes|广泛去重|

显然，从规模、质量和开源协议友好程度来说，SlimPajama都是最均衡最好的一个数据集。

注意，SlimPajama数据集以英文为主，也包含了一些非英文的语料。具体比例多少，官方没有公布。

#### SlimPajama相关资源以及下载链接
SlimPajama数据集压缩之后大小895GB左右，包含59166个jsonl文件。

样例如下：
<center>![](https://www.datalearner.com/resources/blog_images/cc26ac6f-afe3-4cd3-8481-c7378447c331.png)</center>
<center></center>

SlimPajama的数据集下载地址：https://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/train
SlimPajama测试数据集地址：https://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/test
SlimPajama验证数据集地址：https://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/validation
SlimPajam数据集处理工具：https://github.com/Cerebras/modelzoo/tree/main/modelzoo/transformers/data_processing/slimpajama
SlimPajama的DataLearner信息卡：https://www.datalearner.com/ai-dataset/SlimPajama

SlimPajama：CerebrasAI开源最新可商用的高质量大语言模型训练数据集，含6270亿个tokens！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客