RedPajama-2.8B

Name: RedPajama-2.8B
Author: TOGETHER

基础大模型

RedPajama-2.8B

Release date: 2023-05-01更新于: 2023-05-05 09:20:57.350512

Live demo

RedPajama-2.8B is an AI model published by TOGETHER, released on 2023-05-01, for 基础大模型, with 28.0B parameters, and 2K tokens context length.

Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology

RedPajama-2.8B

Model basics

Reasoning traces

Not supported

Thinking modes

Thinking modes not supported

Context length

2K tokens

Max output length

No data

Model type

基础大模型

Release date

2023-05-01

Model file size

No data

MoE architecture

Total params / Active params

28.0B / N/A

Knowledge cutoff

No data

RedPajama-2.8B

Open source & experience

Code license

No data

Weights license

No data

GitHub repo

GitHub link unavailable

Hugging Face

Hugging Face link unavailable

Live demo

No live demo

RedPajama-2.8B

Model Overview

RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。

RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。

5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！

RedPajama-2.8B

Model basics

Open source & experience

Official resources

API details

Benchmark Results

Publisher

Model Overview

DataLearner 官方微信