GP
GPT-JT
基础大模型GPT-JT
发布时间: 2022-11-29更新于: 2023-05-07 17:22:44.596539
模型参数
60亿
上下文长度
2K
中文支持
不支持
推理能力
GPT-JT 是由 TOGETHER 发布的 AI 模型，发布时间为 2022-11-29，定位为 基础大模型，参数规模约为 60亿，上下文长度为 2K，模型文件大小约 12.2GB。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
GPT-JT
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2022-11-29
模型文件大小
12.2GB
MoE架构
否
总参数 / 激活参数
60亿 / 不涉及
知识截止
暂无数据
GPT-JT
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
在线体验
暂无在线体验地址
GPT-JT
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
GPT-JT
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
GPT-JT
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
GPT-JT
发布机构
TOGETHER
查看发布机构详情 GPT-JT
模型解读
GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。
在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。
下图是GPT-JT在RAFT的得分测试结果：
可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！
- GPT-JT模型也是多家单位合作的成果：
- GPT-JT基于EleutherAI开源的GPT-J模型和数据集训练。
- 基于Google发布的思维链技术和UL2技术
- 使用了Natural-Instructions数据集
- 使用了BigScience的Public Pool of Prompts数据集
- 基于斯坦福的CRFM做评价
基础模型
GPT-J
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
