EleutherAI 简介

EleutherAI

EleutherAI 是一个非营利性的人工智能研究实验室,专注于大型模型的可解释性和对齐性。


EleutherAI机构简介

EleutherAI成立于2020年7月,由Connor Leahy、Sid Black和Leo Gao创立,从一个讨论GPT-3的Discord服务器发展成为一个专注于大规模人工智能研究的领先非营利性研究机构。我们的工作历史上专注于通过训练和发布模型以及促进自然语言处理开放科学规范,为使用尖端人工智能技术提供支持。随着公众获取大规模预训练人工智能模型的机会显著提高,我们的重点正在转向研究人工智能的可解释性和对齐性。

EleutherAI主要通过公共Discord服务器运作,在那里讨论领域内的研究并协调我们的项目。EleutherAI采用开放和协作的研究模式,EleutherAI的Discord服务器不会严格区分员工、志愿者和其他机构的合作者。然而,EleutherAI的社区专门为研究人员和研究级别的讨论服务,EleutherAI要求有兴趣了解人工智能研究的人主要观察。

EleutherAI雇用了一些全职和兼职研究人员,他们与十几名常规志愿者和外部合作者共同工作。

Eleuther的主要成果

EleutherAI发布了许多与大模型相关的成果,包括各种数据集和大模型。

EleutherAI发布的大模型列举如下:

模型名称模型简介DataLearner模型信息卡地址
Pythia系列Pythia系列包含了16大模型,154个训练结果checkpoints,是EleutherAI在2023年2月份发布的一系列大语言模型。 Pythia模型信息卡
GPT-JGPT-J是在Pile上训练的60亿参数的开源英语自回归语言模型。在发布时,它是世界上最大的公开GPT-3风格的语言模型。 GPT-J 6B模型信息卡 
GPT-NeoX系列使用GPT-NeoX library训练的包含多个版本的大模型,最高200亿参数规模。 GPT-NeoX模型信息卡 


EleutherAI的其它资料

EleutherAI的官方网站: https://www.eleuther.ai/ 

EleutherAI的GitHub地址: https://github.com/EleutherAI 

EleutherAI的HuggingFace地址: https://huggingface.co/EleutherAI 

EleutherAI发布的大模型列表

GPT-Neo

27.0

亿个参数

2021-03-22

发布时间

免费商用授权

预训练结果开源

GPT-J 6B

60.0

亿个参数

2021-06-04

发布时间

免费商用授权

预训练结果开源

GPT-NeoX-20B

200.0

亿个参数

2022-04-14

发布时间

预训练结果开源

Pythia

120.0

亿个参数

2023-04-03

发布时间

免费商用授权

预训练结果开源