GPT-JT
GPT-JT 是由 TOGETHER 发布的 AI 模型，发布时间为 2022-11-29，定位为 基础大模型，参数规模约为 60.0B，上下文长度为 2K，模型文件大小约 12.2GB。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型，基于GPT-J 6B（ https://www.datalearner.com/ai/pretrained-models/GPT-J%206B ）微调得到。
在EleutherAI发布GPT-J 6B几个星期之后，TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上，基于35.3亿tokens数据进行微调，尤其擅长文本分类任务，其效果好于100亿参数规模的模型。
下图是GPT-JT在RAFT的得分测试结果：
可以看到，GPT-JT只比InstructGPT的davinci v2版本稍差，但这是1750亿参数的模型！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
