OpenAI 简介

OpenAI

OpenAI是全球最著名的人工智能研究机构,发布了许多著名的人工智能技术和成果,如大语言模型GPT系列、文本生成图片预训练模型DALL·E系列、语音识别模型Whisper系列等。由于这些模型在各自领域都有相当惊艳的表现,引起了全世界广泛的关注。

这是旧金山的先锋大厦,也是OpenAI的办公室所在地

OpenAI最新消息

2022/1/16:微软云计算Azure官方宣布将上架OpenAI的AI预训练模型服务,包括GPT-3.5、ChatGPT、DALL·E2以及Codex等。而这些模型此时连官方的API都没有提供,证明微软与OpenAI的关系更进一步。

2022/1/10:Semafor报告说微软准备投资100亿美金给OpenAI(总估值290亿美金),该投资没有公开,但是据报告已经在2022年底前完成。

OpenAI的创立历史

OpenAI是由马斯克(Elon Musk)等人于2015年在旧金山创立的一家非盈利的人工智能研究公司,启动资金就有10亿美金,算是标准的富二代。正是由于”金钱“的力量,OpenAI的目标就是不受经济回报的限制来推进数字智能造福人类。OpenAI建立的目标就是为了与其它机构合作,进行AI的相关研究,并开放研究成果以促进AI技术的发展。OpenAI也被认为是DeepMind的有力竞争者。但是,从GPT-2模型之后,OpenAI认为模型效果太好,可能会被用来做不好的事情,因此开始限制研究成果的”开放“,这一点被很多人吐槽。

2019年3月11日,OpenAI宣布从”非盈利(non-profit)“性质过度到”封顶(‘capped’ for profit)“营利性,利润上限为任何投资的100倍(创立了OpenAI LP公司)。也是这一年,微软向该公司投资了10亿美金,并获得了OpenAI技术的商业化授权。从此,OpenAI的一些技术开始出现在微软的产品和业务上。不过,OpenAI与微软的合作其实从2016年就开始,2016年,微软的云服务Azure为OpenAI提供了大规模实验的平台。Azure彼时已经为他们提供了带有InfiniBand互连的K80 GPU的算力资源,以优化深度学习的训练。2020年9月22日,OpenAI开始授权微软使用他们的GPT-3模型,也是全球首个可以享受GPT-3能力的公司。

2020年6月11日,OpenAI发布了OpenAI API,这也是OpenAI第一个商业化产品。官方解释了,他们认为开发商业产品是确保OpenAI有足够资金继续投入AI研究的有效手段。自此,OpenAI也正是开始商业化运作。官方也解释了,使用API的方式提供模型而不是开源模型也将降低模型的使用门槛,毕竟对于中小企业来说,部署强大的AI模型所需要的成本可能更高。

OpenAI发布的技术简史

OpenAI发布了很多人工智能相关的技术,从工具到算法到论文到模型,都有涉及。这里将简单介绍一下他们发布的相关研究成果。由于OpenAI的成立时间很短,我们将根据年份来说明OpenAI发布的主要技术成果。

2016年

2016年4月27日,OpenAI发布了他们的第一个项目——OpenAI Gym Beta,这是一个用来开发和比较不同强化学习算法的工具。这个工具起初是OpenAI研究人员用来加速他们强化学习研究的,这个工具也是OpenAI第一个开放的成果。

2017年

2017年5月24日,OpenAI开源了一个重现强化学习算法的工具——OpenAI Baselines。强化学习由于过程十分复杂且影响因素众多,导致很多实验难以复现。因此,OpenAI开源了这个工具,目标是提供用于正确的强化学习算法实现的一些最佳实践,以帮助大家提高强化学习的研究效率。OpenAI Baselines中第一个基线化的模型是DQN(Deep Q-Network)

2018年

2018年6月11日,OpenAI公布了一个在诸多语言处理任务上都取得了很好结果的算法,即著名的GPT,这也是该算法的第一个版本。GPT是第一个将transformer与无监督的预训练技术相结合,其取得的效果要好于当前的已知算法。这个算法算是OpenAI大语言模型的探索性的先驱,也使得后面出现了更强大的GPT系列。

也是在2018年6月份,OpenAI宣布他们的OpenAI Five已经开始在Dota2游戏中击败业余人类团队,并表示在未来2个月将与世界顶级玩家进行对战。OpenAI Five使用了256个P100 GPUs和128000个CPU核,每天玩180年时长的游戏来训练模型。在随后的几个月里OpenAI Five详情继续公布。在8月份的专业比赛中,OpenAI Five输掉了2场与顶级选手的比赛,但是比赛的前25-30分钟内,OpenAI Five的模型的有着十分良好的表现。OpenAI Five继续发展并在2019年4月15日宣布打败了当时的Dota2世界冠军。

2019年

2019年2月14日,OpenAI在博客《Better Language Models and Their Implications》中官宣GPT-2模型。也正是在这篇博客中,官方说到由于模型效果太好,他们担心模型会被恶意使用,在没有想好如何限制malicious applications之前是不会发布预训练结果的。GPT-2模型有15亿参数,基于800万网页数据训练。GPT-2就是GPT的规模化结果,在10倍以上的数据以10倍以上的参数训练。OpenAI在2月份GPT-2发布的时候仅仅公开了他们的1.24亿版本的预训练结果,其后的5月份发布了3.55亿参数版本的预训练结果,并在半年后的8月份发布了一个7.74亿参数版本的GPT-2预训练结果。2019年11月5日,15亿参数的完整版本的GPT-2预训练结果发布。

同年3月4日,OpenAI发布了一个用于强化学习代理的大规模多代理游戏环境:Neural MMO。该平台支持在一个持久的、开放的任务中的存在大量的、可变的代理。许多代理和物种的加入导致了更好的探索,分歧的利基形成,以及更大的整体能力。

4月25日,OpenAI继续公布他们最新的研究成果:MuseNet,这是一个深度神经网络,可以用10种不同的乐器生成4分钟的音乐作品,并且可以结合从乡村到莫扎特到披头士的风格。这是OpenAI将生成模型从自然语言处理领域拓展到其它领域开始。

2020年

2020年4月14日,OpenAI发布了Microscope,这是一个用于分析神经网络内部特征形成过程的可视化工具,也是OpenAI为了理解神经网络模型所作出的努力。

2020年5月28日,OpenAI的研究人员直接提交了论文《Language Models are Few-Shot Learners》,正式公布了GPT-3相关的研究结果,这也是当时全球最大的预训练模型,参数1750亿!GPT-3在论文中展示了强大的能力,但是如前面的版本一样,官方没有公布预训练结果文件。但是,同年9月,GPT-3的商业化授权给了微软。

同年6月17日,OpenAI发布了Image GPT模型,将GPT的成功引入计算机视觉领域。研究人员认为,transformer是与领域无关的,它们都是从序列中建模,因此计算机视觉领域依然可以使用。Image GPT也在当时取得了很好的成绩!

2021年

2021年1月5日,OpenAI发布CLIP,它能有效地从自然语言监督中学习视觉概念。CLIP可以应用于任何视觉分类基准,只需提供要识别的视觉类别的名称,类似于GPT-2和GPT-3的 "zero-shot "能力。这个模型是今年来多模态领域很有代表性的一项工作。

同一天,OpenAI发布了DALL·E模型,这也是一个具有很大影响力的模型,DALL·E是一个120亿个参数的GPT-3版本,它被训练成使用文本-图像对的数据集,从文本描述中生成图像。DALL·E可以创造动物和物体的拟人化版本,以合理的方式组合不相关的概念,渲染文本,以及对现有图像进行转换。DALL·E的发布再一次惊艳世人。

2021年8月10日,OpenAI发布了Codex。OpenAI Codex是GPT-3的后代;它的训练数据既包含自然语言,也包含数十亿行公开的源代码,包括GitHub公共存储库中的代码。OpenAI Codex就是Github Coplilot背后的模型。当然,Codex也没有公布,而是OpenAI收费的API。

2022年

2022年1月27日,OpenAI发布了InstructGPT。这是比GPT-3更好的遵循用户意图的语言模型,同时也让它们更真实,且less toxic,使用的技术是通过alignment研究开发的。这些InstructGPT模型是在人类的参与下训练的,这是一个AI对话系统,也是OpenAI收费的API。

2022年3月15日,OpenAI新版本的GPT-3和Codex发布,新增了编辑和插入新内容的能力。也就是说除了之前的生成能力外,新增编辑和修改。

同年4月6日,DALL·E2发布,其效果比第一个版本更加逼真,细节更加丰富且解析度更高。DALL·E系列由于可以生成任意图片内容,尽管官方做了很多努力阻止恶意结果产生,依然因为担心而没有放出。也许是因为开源的竞争产品如Stable Diffusion的压力,2022年7月20日,OpenAI的API增加了一年前发布的DALL·E(注意不是V2版本)。

6月23日,OpenAI通过视频预训练(Video PreTraining,VPT)在人类玩Minecraft的大量无标签视频数据集上训练了一个神经网络来玩Minecraft,同时只使用了少量的标签数据。通过微调,该模型可以学习制作钻石工具,这项任务通常需要熟练的人类花费超过20分钟(24,000个动作)。它使用了人类原生的按键和鼠标运动界面,使其具有相当的通用性,并代表着向通用计算机使用代理迈出了一步。

9月21日,OpenAI发布了Whisper,这是一个语音识别预训练模型,结果逼近人类水平,支持多种语言。最重要的是,相比较很长不开源成果的其它模型,这是一个完全开源的模型,不过其参数也就15.5亿。

11月30日,OpenAI发布ChatGPT系统,这是一个AI对话系统,其强大的能力也让大家再次见识到了其强大的能力。ChatGPT在很多问题上近乎完美的表现使得它仅仅5天就有了100万用户。它可以帮助我们写代码、写博客、解释技术,可以多轮对话,写短剧等等。

总结

OpenAI是人工智能领域的明星公司。从马斯克等人创办开始就吸引了很多的目光。起初,其研究似乎主要是朝着强化学习努力。但是,随着预训练模型的崛起,他们在诸多领域的创新也让大家见识到OpenAI的强大实力。OpenAI发布的很多模型和系统都具有令人惊讶的效果。尽管随着其商业化进程的加速,免费开源的技术似乎变得稀有。但是,他们发布的技术引起了众多的追随者和竞争者。包括Meta AI、StabilityAI等竞争对手都发布了开源版本的兄弟模型。促进了AI领域的发展。

OpenAI发布的大模型列表

GPT-1

1.17

亿个参数

2018-06-11

发布时间

免费商用授权

预训练结果开源

GPT-2

15.0

亿个参数

2019-02-14

发布时间

免费商用授权

预训练结果开源

GPT-3

1750.0

亿个参数

2020-05-28

发布时间

不开源

预训练结果开源

CLIP

0.0

亿个参数

2021-01-05

发布时间

预训练结果开源

DALL·E

120.0

亿个参数

2021-02-24

发布时间

不开源

预训练结果开源

Codex

1750.0

亿个参数

2021-08-10

发布时间

不开源

预训练结果开源

Instruct GPT

1750.0

亿个参数

2022-03-04

发布时间

预训练结果开源

DALL·E2

35.0

亿个参数

2022-04-13

发布时间

预训练结果开源

Whisper

15.5

亿个参数

2022-09-21

发布时间

预训练结果开源

ChatGPT

1750.0

亿个参数

2022-11-30

发布时间

预训练结果开源

GPT-3.5

1750.0

亿个参数

2022-11-30

发布时间

不开源

预训练结果开源

Whisper V2

15.5

亿个参数

2022-12-09

发布时间

预训练结果开源

Point-E

10.0

亿个参数

2022-12-16

发布时间

预训练结果开源

GPT-4

1750.0

亿个参数

2023-03-14

发布时间

不开源

预训练结果开源

Shap-E

0.0

亿个参数

2023-05-03

发布时间

预训练结果开源

DALL·E3

0.0

亿个参数

2023-09-21

发布时间

不开源

预训练结果开源

GPT-4V

0.0

亿个参数

2023-09-25

发布时间

不开源

预训练结果开源

GPT-4o

亿个参数

2024-05-13

发布时间

不开源

预训练结果开源

GPT-4o mini

0.0

亿个参数

2024-07-18

发布时间

不开源

预训练结果开源