PY
Pythia
基础大模型Pythia
发布时间: 2023-04-03更新于: 2023-08-16浏览量: 768
模型参数
120亿
上下文长度
2K
多语言支持
暂无数据
推理能力
暂无数据
Pythia 是由 EleutherAI 发布的 AI 模型，发布时间为 2023-04-03，定位为 基础大模型，参数规模约为 120亿，上下文长度为 2K，模型文件大小约 24GB，采用 Apache 2.0 许可，在 C-Eval 上取得 26.20 分。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Pythia
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-04-03
模型文件大小
24GB
MoE架构
否
总参数 / 激活参数
120亿 / 不适用
知识截止
暂无数据
Pythia
开源和体验地址
Pythia
官方介绍与博客
DataLearnerAI博客
暂无
Pythia
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Pythia
评测结果
Pythia
发布机构
EleutherAI
查看发布机构详情 Pythia
模型解读
Pythia是由EleutherAI开源的一组预训练大模型，这是一组EleutherAI用来研究模型规模与可解释性的训练模型，共包含8个。如下图所示
Pythia包含8种模型，涉及两个不同的数据集：Pile和应用了去重复的Pile。
所有8种模型大小都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练期间看到了约299,892,736,000 ~= 299.9B个标记，每2,097,152,000 ~= 2B个标记保存一次143个检查点，平均分布在整个训练过程中。这相当于非“去重”模型在Pile上不到1个epoch，而在经过去重的Pile上约为1.5个epoch（1个epoch包含207B个标记）。
用于在GPT-NeoX库中训练这些模型的配置文件可以在此存储库中的models/目录中找到。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
