Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology

RedPajama-2.8B

Model basics

Reasoning traces

Not supported

Context length

2K tokens

Max output length

No data

Model type

基础大模型

Release date

2023-05-01

Model file size

No data

MoE architecture

Total params / Active params

28.0B / N/A

Knowledge cutoff

No data

Inference modes

No mode data

RedPajama-2.8B

Open source & experience

Code license

No data

Weights license

No data

GitHub repo

GitHub link unavailable

Hugging Face

Hugging Face link unavailable

Live demo

No live demo

RedPajama-2.8B

Official resources

Paper

No paper available

DataLearnerAI blog

No blog post yet

RedPajama-2.8B

API details

API speed

No data

No public API pricing yet.

RedPajama-2.8B

Benchmark Results

No benchmark data to show.

RedPajama-2.8B

Publisher

TOGETHER

View publisher details

RedPajama-2.8B

Model Overview

RedPajama-2.8B是TOGETHER在2023年5月1日透露的正在训练的模型。

RedPajama是TOGETHER官方宣布的一项开源项目，其目的是基于MetaAI提供的论文，使用1.2万亿tokens的数据来复现LLaMA的训练过程。该项目最早宣布的是其数据集，4月25日透露正在训练RedPajama-7B模型已经在训练了4400亿tokens数据集之后超过了Pythia-7B的能力。

5月1日，官方透露他们正在训练的28亿参数版本的RedPajama-2.8B，在训练了6000亿tokens数据之后已经超过Pythia-2.8B和GPT-Neo 2.7B的模型。几乎与Pythia-7B模型的能力相当！

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送