Pythia

Pythia是由EleutherAI开源的一组预训练大模型，这是一组EleutherAI用来研究模型规模与可解释性的训练模型，共包含8个。如下图所示

Pythia包含8种模型，涉及两个不同的数据集：Pile和应用了去重复的Pile。

所有8种模型大小都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练期间看到了约299,892,736,000 ~= 299.9B个标记，每2,097,152,000 ~= 2B个标记保存一次143个检查点，平均分布在整个训练过程中。这相当于非“去重”模型在Pile上不到1个epoch，而在经过去重的Pile上约为1.5个epoch（1个epoch包含207B个标记）。

用于在GPT-NeoX库中训练这些模型的配置文件可以在此存储库中的models/目录中找到。