加载中...

GP

GPT-JT

Name: GPT-JT
Author: TOGETHER

GPT-JT

Release date: 2022-11-29更新于: 2023-05-07 17:22:44.596469

Live demo

GitHub

Hugging Face

Parameters

60.0亿

Context length

2K

Chinese support

Not supported

Reasoning ability

Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology

Model basics

Reasoning traces

Not supported

Context length

2K tokens

Max output length

No data

Model type

基础大模型

Release date

2022-11-29

Model file size

12.2GB

MoE architecture

No

Total params / Active params

60.0B / N/A

Knowledge cutoff

No data

Inference modes

No mode data

Open source & experience

Code license

No data

Weights license

No data

GitHub repo

https://github.com/togethercomputer/GPT-JT-Int8

Hugging Face

https://huggingface.co/togethercomputer/GPT-JT-6B-v1

Live demo

No live demo

Official resources

Paper

Releasing GPT-JT powered by open-source AI

DataLearnerAI blog

No blog post yet

API details

API speed

No data

No public API pricing yet.

Benchmark Scores

No benchmark data to show.

Publisher

TOGETHER

View publisher details

Model Overview

GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。

在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。

下图是GPT-JT在RAFT的得分测试结果：

可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！

GPT-JT模型也是多家单位合作的成果：
GPT-JT基于EleutherAI开源的GPT-J模型和数据集训练。
基于Google发布的思维链技术和UL2技术
使用了Natural-Instructions数据集
使用了BigScience的Public Pool of Prompts数据集
基于斯坦福的CRFM做评价

Foundation model

GPT-J

View details

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送