Galactica

Galactica 预训练模型详情

模型全称

Galactica

发布组织

发布日期

2022-11-15

预训练文件大小

228G

模型参数数量(亿)

1200

发布论文

Galactica: A Large Language Model for Science

Galactica 简介

Galactica是由PapersWithCode发布的科研领域的NLP预训练模型。

Galactica模型是在一个大型语料库上训练出来的,该语料库包括超过3.6亿条上下文引文和超过5000万条在不同来源中规范化的独特引用。这使得Galactica能够建议引文并帮助发现相关的论文。

Galactica模型的能力概括如下:

  1. 引用预测
  2. LaTeX预测
  3. 推理
  4. 文档生成
  5. 分子式生成
  6. 预测蛋白质注释

不过,不像其它企业喜欢说优点,官方也将这个模型的限制描述了出来:

  1. 语言模型会产生幻觉。不能保证语言模型的真实或可靠的输出,即使是像Galactica这样在高质量数据上训练出来的大型模型。在没有验证的情况下,千万不要听从语言模型的建议。
  2. 语言模型是有频率偏向的。Galactica很适合生成关于引用率高的概念的内容,但对于引用率较低的概念和想法来说就不那么好了,在这种情况下,产生幻觉的可能性更大。
  3. 语言模型经常是自信但错误的。Galactica生成的一些文本可能看起来非常真实和高度自信,但可能在重要方面有微妙的错误。对于高度技术性的内容来说,这种情况尤其明显。

但是,最重要的是,他们的模型是开源的!最大的模型1200亿参数,最小的只有1.25亿参数,二进制预训练文件大小235MB。最大的模型应该是200-300GB之间!

官方网站之前有模型的演示功能,但是由于争议过大,下架了。目前仅有Meta开源的版本。

官方网站: https://galactica.org/ 

GitHub开源地址: https://github.com/paperswithcode/galai 

Galactica所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

Galactica相关的任务
文本生成

文本生成

Text Generation

35个资源