Open Pre-trained Transformer
Open Pre-trained Transformer is an AI model published by Facebook AI研究实验室, released on 2022-05-02, for 基础大模型, with 1750.0B parameters, and 2K tokens context length, requiring about 85GB storage, under the 开源不可商用 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
OPT支持中文！
OPT全称是Open Pre-trained Transformers，是由MetaAI研究人员发布的一个开放式大语言预训练模型，是一组自然语言（NLP）模型，基于互联网上几十亿token文本训练的。近年来，尽管大语言模型展示出强大的能力，但是由于训练成本高昂，导致大部分研究人员都无法负担，阻碍了学术的交流与研究。同时，由于各大企业的商业目的，他们发布的大语言预训练模型也都无法完整访问模型权重，只能通过API获取少量的结果。据此，MetaAI研究人员提出了OPT，这个模型参数范围包含1.25亿到1750亿多个版本，除了1750亿的版本需要填写申请获取外，其它预训练结果文件都完全开放下载，可以免费获得。实验表明OPT的能力与GPT-3相当，但是整个开发训练过程的碳成本却只有其1/7。Meta AI发布OPT的主要目标就是为了促进大语言模型可以被相关人员充分获取并负责人的共享。
当前，OPT预训练结果文件都是可以免费访问和下载，主要的下载地址如下：
| 模型名称 | 参数大小 | 权重文件下载地址 - 文件大小 |
|---|---|---|
| OPT-125M | 1.25亿 | part0 - 121MB part1 - 121MB |
| OPT-350M | 3.5亿 | part0 - 681MB |
| OPT-1.3B | 13亿 | part0 - 1.2GB part1 - 1.2GB |
| OPT-2.7B | 27亿 | part0 - 1.2GB part1 - 1.2GB part2 - 1.2GB part3 - 1.2GB |
| OPT-6.7B | 67亿 | part0 - 6.2GB part1 - 6.2GB |
| OPT-13B | 130亿 | part0 - 12GB part1 - 12GB |
| OPT-30B | 300亿 | part0 - 27.9GB part1 - 27.9GB |
| OPT-66B | 660亿 | part0 - 15.3GB part1 - 15.3GB part2 - 15.3GB part3 - 15.3GB part4 - 15.3GB part5 - 15.3GB part6 - 15.3GB part7 - 15.3GB |
| OPT-175B | 1750亿 | 需要申请，申请地址： 点击申请 |
OPT使用的是互联网上多个开放数据集，具体描述在论文的附录C中有描述，总结下来包括：
BookCorpus： https://www.datalearner.com/ai-dataset/book-corpus
CC-Stories： https://www.datalearner.com/ai-dataset/cc-stories
Pile数据集
Pushshift.io的Reddit数据集
CCNewsV2数据集
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
