AI盛世如你所愿！昨天2个最新的开源“GPT”模型发布！

在最近的24个小时内，有2个开源的自然语言处理领域的开源预训练大模型发布。这两个模型都是类似GPT的Transformer模型，可以完成和ChatGPT类似的能力。最重要的是这2个模型完全开源！

它们分别是Lightning AI公司（Lightning AI公司简介：https://www.datalearner.com/ai-organizations/Lightning-AI ）发布的Lit-LLaMA和Cerebras发布的Cerebras-GPT模型。
前者是基于MetaAI开源的LLaMA模型所独立实现的可以以较低资源运行的模型，而后者则是Cerebras实现的与GPT、OPT直接竞争的大模型。

#### 一、Lit-LLaMA简介
Lit-LLaMA是由Lightning AI发布的基于LLaMA的开源模型。官方宣称这是独立实现的模型，使用的是nanoGPT的训练框架。

Lit-LLaMA模型卡信息：https://www.datalearner.com/ai-models/pretrained-models/Lit-LLaMA

该模型最大的特点是完全开源，免费使用！

Lit-LLaMA的设计目标如下：

- 简单：一个文件实现所有的内容
- 准确：与原始模型数值等效
- 优化：消费级硬件即可运行
- 开源：完全开源，无任何附带条件

因此，如果想自己学习模型的实现或者是想使用开源的LLaMA预训练结果部署一个模型，用较低的资源运行，那么这个模型可以尝试！

#### 二、Cerebras-GPT简介
Cerebras GPT是由Cerebras公司开源的自然语言处理领域的预训练大模型，其模型参数规模最小1.11亿，最大130亿，共7个模型。

Cerebras-GPT模型卡信息：https://www.datalearner.com/ai-models/pretrained-models/Cerebras-GPT

与业界的模型相比，Cerebras-GPT几乎是各个方面完全公开，没有任何限制。不管是模型架构，还是预训练结果都是公开的。目前开源的模型结构和具体训练细节如下：
<center>
![](https://www.datalearner.com/resources/blog_images/898a9b4d-aea2-4d32-8c8a-1f61670336ca.png)
</center>
<center></center>

Cerebras GPT模型已经集成到HuggingFace的pipelines上，使用很简单。

AI盛世如你所愿！昨天2个最新的开源“GPT”模型发布！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客