GPT-JT
GPT-JT 是由 TOGETHER 发布的 AI 模型,发布时间为 2022-11-29,定位为 基础大模型,参数规模约为 60.0B,上下文长度为 2K,模型文件大小约 12.2GB。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
GPT-JT是TOGETHER公司在2022年11月29日发布的一个开源的语言模型,基于GPT-J 6B( https://www.datalearner.com/ai/pretrained-models/GPT-J%206B )微调得到。
在EleutherAI发布GPT-J 6B几个星期之后,TOGETHER就在官方宣布开源GPT-JT模型。该模型继续在GPT-J基础上,基于35.3亿tokens数据进行微调,尤其擅长文本分类任务,其效果好于100亿参数规模的模型。
下图是GPT-JT在RAFT的得分测试结果:

可以看到,GPT-JT只比InstructGPT的davinci v2版本稍差,但这是1750亿参数的模型!
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
