大模型追踪利器!斯坦福大学发布基础大模型追踪图谱Ecosystem Graphs

标签:#大模型# 时间:2023/04/24 22:46:28 作者:小木

随着ChatGPT在全球的火爆,预训练大模型技术被全球广泛关注。除了OpenAI、Google、百度这样的巨头在努力提供大模型服务外,各个科技企业以及学术界也都在发布自己的大模型。

下图展示了DataLearner收集的大模型概览图:


可以看到,很多企业都在发布各种不同的模型。但是,实际上,这些模型也不是一下蹦出来的,很多模型之间也是有依赖和联系的。并且,基于这些模型开发的应用则更加繁杂。这些眼花缭乱的关系基本上很难追踪。例如,Github Copilot就是一个GitHub提供的代码补全应用,但是实际上它背后依赖的是OpenAI的Codex模型,而Codex模型本身则来自GPT-3。这样的联系在如今每天都有大模型和新应用发布的年代,很难轻易被追踪!

尽管像Datalearner这样的网站提供了大模型的列表和介绍,但是大模型之间的联系和依赖,以及围绕大模型的资产如数据集、应用等都很难轻松看出来。而斯坦福大学发布的基础大模型追踪图谱Ecosystem Graphs,用图谱的方式给大家呈现了模型之间的联系,让人非常清楚明白追踪不同模型之间的关系。

下图就是这个图谱的全景图:


这其中蓝色的节点是模型,黄色的点是数据,红色的点则是应用。我们可以放大,例如下图就是以GPT-3为核心展示的相关内容:


可以看到,GPT-3作为基础模型,衍生了很多不同的模型,如Codex、text-davinci-002等。同时也产生了Bird SQL、GitHub Copilot等应用。是不是非常清晰!当我们点击GPT-3,就可以跳转获得GPT-3的详情页结果,如下图所示:


这里面详细描述了GPT-3相关的信息,包括发布者、链接、依赖、训练信息等,是不是非常方便!我们可以对比一下DataLearner提供的GPT-3信息:


怎么说呢,结果似乎还是比斯坦福大学列出的信息少了一些!同时也缺少模型之间的依赖信息!不过DataLearner的模型有个好处是介绍比较详细,并且是中文内容。

根据目前的统计,Ecosystem Graphs已经收集了262条资产信息,其中模型129个,应用69个,数据集64个。还是很丰富的,同时官网也提供了提交信息的入口,经过审核后应该会被加入到其中。大家可以收藏该工具,以后可以定期拿出来看看,配合DataLearner的预训练模型列表,可以更加容易追踪模型发展。

欢迎大家关注DataLearner官方微信,接受最新的AI技术推送