OPT
基础大模型Open Pre-trained Transformer
Open Pre-trained Transformer 是由 Facebook AI研究实验室 发布的 AI 模型，发布时间为 2022-05-02，定位为 基础大模型，参数规模约为 1750亿，上下文长度为 2K，模型文件大小约 85GB，采用 开源不可商用 许可，在 MMLU 上取得 25.20 分。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
发布机构
模型解读
OPT支持中文！
OPT全称是Open Pre-trained Transformers，是由MetaAI研究人员发布的一个开放式大语言预训练模型，是一组自然语言（NLP）模型，基于互联网上几十亿token文本训练的。近年来，尽管大语言模型展示出强大的能力，但是由于训练成本高昂，导致大部分研究人员都无法负担，阻碍了学术的交流与研究。同时，由于各大企业的商业目的，他们发布的大语言预训练模型也都无法完整访问模型权重，只能通过API获取少量的结果。据此，MetaAI研究人员提出了OPT，这个模型参数范围包含1.25亿到1750亿多个版本，除了1750亿的版本需要填写申请获取外，其它预训练结果文件都完全开放下载，可以免费获得。实验表明OPT的能力与GPT-3相当，但是整个开发训练过程的碳成本却只有其1/7。Meta AI发布OPT的主要目标就是为了促进大语言模型可以被相关人员充分获取并负责人的共享。
当前，OPT预训练结果文件都是可以免费访问和下载，主要的下载地址如下：
| 模型名称 | 参数大小 | 权重文件下载地址 - 文件大小 |
|---|---|---|
| OPT-125M | 1.25亿 | part0 - 121MB |
| part1 - 121MB | ||
| OPT-350M | 3.5亿 | part0 - 681MB |
| OPT-1.3B | 13亿 | part0 - 1.2GB |
| part1 - 1.2GB | ||
| OPT-2.7B | 27亿 | part0 - 1.2GB |
| part1 - 1.2GB | ||
| part2 - 1.2GB | ||
| part3 - 1.2GB | ||
| OPT-6.7B | 67亿 | part0 - 6.2GB |
| part1 - 6.2GB | ||
| OPT-13B | 130亿 | part0 - 12GB |
| part1 - 12GB | ||
| OPT-30B | 300亿 | part0 - 27.9GB |
| part1 - 27.9GB | ||
| OPT-66B | 660亿 | part0 - 15.3GB |
| part1 - 15.3GB | ||
| part2 - 15.3GB | ||
| part3 - 15.3GB | ||
| part4 - 15.3GB | ||
| part5 - 15.3GB | ||
| part6 - 15.3GB | ||
| part7 - 15.3GB | ||
| OPT-175B | 1750亿 | 需要申请，申请地址： 点击申请 |
OPT使用的是互联网上多个开放数据集，具体描述在论文的附录C中有描述，总结下来包括：
BookCorpus： https://www.datalearner.com/ai-dataset/book-corpus
CC-Stories： https://www.datalearner.com/ai-dataset/cc-stories
Pile数据集
Pushshift.io的Reddit数据集
CCNewsV2数据集
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
