OPT（Open Pre-trained Transformer）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息

OPT - Open Pre-trained Transformer

模型详细情况和参数

OPT

模型全称: Open Pre-trained Transformer
模型简称: OPT
模型类型: 基础大模型
发布日期: 2022-05-02
预训练文件大小: 85GB
是否支持中文（中文优化）: 否
最高支持的上下文长度: 2K
模型参数数量（亿）: 1750.0
模型代码开源协议: MIT License
预训练结果开源商用情况: 开源不可商用 - 不可以商用
模型GitHub链接: https://github.com/facebookresearch/metaseq/tree/main/projects/OPT
模型HuggingFace链接: https://huggingface.co/docs/transformers/model_doc/opt
在线演示地址: 暂无
DataLearnerAI的模型介绍
官方博客论文: OPT: Open Pre-trained Transformer Language Models
基础模型: 无基础模型
发布机构: Facebook AI研究实验室

Open Pre-trained Transformer 简介

OPT支持中文！

OPT全称是Open Pre-trained Transformers，是由MetaAI研究人员发布的一个开放式大语言预训练模型，是一组自然语言（NLP）模型，基于互联网上几十亿token文本训练的。近年来，尽管大语言模型展示出强大的能力，但是由于训练成本高昂，导致大部分研究人员都无法负担，阻碍了学术的交流与研究。同时，由于各大企业的商业目的，他们发布的大语言预训练模型也都无法完整访问模型权重，只能通过API获取少量的结果。据此，MetaAI研究人员提出了OPT，这个模型参数范围包含1.25亿到1750亿多个版本，除了1750亿的版本需要填写申请获取外，其它预训练结果文件都完全开放下载，可以免费获得。实验表明OPT的能力与GPT-3相当，但是整个开发训练过程的碳成本却只有其1/7。Meta AI发布OPT的主要目标就是为了促进大语言模型可以被相关人员充分获取并负责人的共享。

当前，OPT预训练结果文件都是可以免费访问和下载，主要的下载地址如下：

模型名称	参数大小	权重文件下载地址 - 文件大小
OPT-125M	1.25亿	part0 - 121MB part1 - 121MB
OPT-350M	3.5亿	part0 - 681MB
OPT-1.3B	13亿	part0 - 1.2GB part1 - 1.2GB
OPT-2.7B	27亿	part0 - 1.2GB part1 - 1.2GB part2 - 1.2GB part3 - 1.2GB
OPT-6.7B	67亿	part0 - 6.2GB part1 - 6.2GB
OPT-13B	130亿	part0 - 12GB part1 - 12GB
OPT-30B	300亿	part0 - 27.9GB part1 - 27.9GB
OPT-66B	660亿	part0 - 15.3GB part1 - 15.3GB part2 - 15.3GB part3 - 15.3GB part4 - 15.3GB part5 - 15.3GB part6 - 15.3GB part7 - 15.3GB
OPT-175B	1750亿	需要申请，申请地址：点击申请