Pythia
基础大模型Pythia is a suite of 16 language models from 70M to 12B parameters released by EleutherAI in 2023 to study how models change during training. All models were trained on the same data in the same order, on The Pile with and without deduplication, with 154 checkpoints each published under Apache 2.0.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
发布机构
模型解读
Pythia是由EleutherAI开源的一组预训练大模型，这是一组EleutherAI用来研究模型规模与可解释性的训练模型，共包含8个。如下图所示
Pythia包含8种模型，涉及两个不同的数据集：Pile和应用了去重复的Pile。
所有8种模型大小都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练期间看到了约299,892,736,000 ~= 299.9B个标记，每2,097,152,000 ~= 2B个标记保存一次143个检查点，平均分布在整个训练过程中。这相当于非“去重”模型在Pile上不到1个epoch，而在经过去重的Pile上约为1.5个epoch（1个epoch包含207B个标记）。
用于在GPT-NeoX库中训练这些模型的配置文件可以在此存储库中的models/目录中找到。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
