GP

GPT-NeoX-20B

基础大模型

GPT-NeoX-20B

发布时间: 2022-04-14

模型参数(Parameters)
200.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

2K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2022-04-14

模型预文件大小

268G

开源和体验地址

代码开源状态
预训练权重开源
-
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

GPT-NeoX-20B模型在各大评测榜单的评分

发布机构

模型介绍

GPT-NeoX-20B仅支持英文!

GPT-NeoX-20B 是由非营利性组织 EleutherAI 开发的一种最先进的语言模型。它是 GPT-Neo 模型系列的扩展,这是一个由 OpenAI 开发的 GPT-3 的开源替代品。其名称中的“20B”表示模型中的参数数量为 200 亿。

完全免费和开源!

GPT-NeoX-20B 是目前存在的最大和最强大的语言模型之一,具有生成连贯且上下文适当的文本的能力,适用于各种任务,从文本补全到问答和语言翻译。

GPT-NeoX-20B 与其他模型的不同之处在于其能够执行零样本学习和少样本学习。这意味着模型可以快速学习执行新任务,只需要很少的样本,而不需要大量的训练数据或微调。这使得 GPT-NeoX-20B 成为自然语言处理任务的更高效和多功能工具。

GPT-NeoX-20B 是免费和开源的,这意味着世界各地的研究人员和开发人员可以使用和建立在该模型上,以进一步推进自然语言处理领域的发展。EleutherAI 还提供了该模型的预训练权重和代码,使其他人更容易使用和适应该模型用于自己的目的。


在2023年9月3日之前,GPT-NeoX依赖于DeeperSpeed,而DeeperSpeed是基于DeepSpeed的一个旧版本(0.3.15)。为了迁移到最新的DeepSpeed上游版本,同时允许用户访问GPT-NeoX和DeeperSpeed的旧版本,官方已经为这两个库引入了两个版本的发布。


  • GPT-NeoX和DeeperSpeed的1.0版本保持了GPT-NeoX-20B和Pythia套件所训练的旧稳定版本的快照。
  • 2.0版的GPT-NeoX和DeeperSpeed是建立在最新的DeepSpeed上的最新版本,并将继续保持下去。

详情参考: https://github.com/EleutherAI/gpt-neox 

Foundation Model

GPT-Neo(X)

GPT-Neo(X)

View Details

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat