Galactica
基础大模型Galactica is a scientific language model from Meta AI and Papers with Code, released in November 2022 in sizes up to 120B parameters. Trained on papers, reference material and scientific knowledge bases, its public demo was withdrawn after three days amid criticism of confident but fabricated output.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
发布机构
模型解读
Galactica是由PapersWithCode发布的科研领域的NLP预训练模型。
Galactica模型是在一个大型语料库上训练出来的，该语料库包括超过3.6亿条上下文引文和超过5000万条在不同来源中规范化的独特引用。这使得Galactica能够建议引文并帮助发现相关的论文。
Galactica模型的能力概括如下：
- 引用预测
- LaTeX预测
- 推理
- 文档生成
- 分子式生成
- 预测蛋白质注释
不过，不像其它企业喜欢说优点，官方也将这个模型的限制描述了出来：
- 语言模型会产生幻觉。不能保证语言模型的真实或可靠的输出，即使是像Galactica这样在高质量数据上训练出来的大型模型。在没有验证的情况下，千万不要听从语言模型的建议。
- 语言模型是有频率偏向的。Galactica很适合生成关于引用率高的概念的内容，但对于引用率较低的概念和想法来说就不那么好了，在这种情况下，产生幻觉的可能性更大。
- 语言模型经常是自信但错误的。Galactica生成的一些文本可能看起来非常真实和高度自信，但可能在重要方面有微妙的错误。对于高度技术性的内容来说，这种情况尤其明显。
但是，最重要的是，他们的模型是开源的！最大的模型1200亿参数，最小的只有1.25亿参数，二进制预训练文件大小235MB。最大的模型应该是200-300GB之间！
官方网站之前有模型的演示功能，但是由于争议过大，下架了。目前仅有Meta开源的版本。
官方网站： https://galactica.org/
GitHub开源地址： https://github.com/paperswithcode/galai
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
