截至目前最强的70亿参数大语言模型：开源可商用的RedPajam 7B完全版发布！

RedPajama模型是TOGETHER发布的一个开源可商用的大模型。2023年6月6日，TOGETHER在官方宣布该模型完成训练，经过测试，该模型目前超过所有7B规模的大模型，比LLaMA-7B和Falcon-7B的效果还要好！

TOGETHER公司是一家由豪华管理团队组成的创业公司，由苹果公司前高管、斯坦福大学教授等一起创办。其目标是提供大型生成式模型的基础设施。

RedPajama是一个开源大模型项目，有TOGETHER联合多家公司发起。目前包括一个开源的数据集，有1.2万亿tokens，严格按照LLaMA模型论文中的方法收集。另外，还包括2个开源大模型，一个是RedPajama 3B，于5月5日宣布训练结束，可以在RTX 2070上使用。另一个模型就是本文提到的RedPajama 7B，在昨天宣布完成训练，效果超越目前所有同等规模的模型。

RedPajama 3B模型信息卡：https://www.datalearner.com/ai-models/pretrained-models/RedPajama-INCITE-3B