LI
发布时间: 2023-05-24更新于: 2023-06-02浏览量: 564
上下文长度
2K
LightGPT Instruct 6B is an English instruction-following model released by AWS in May 2023, fine-tuned from GPT-J 6B on the OIG-small-chip2 dataset, under Apache 2.0.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
LightGPT Instruct 6B
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-05-24
模型文件大小
12.2GB
MoE架构
否
总参数 / 激活参数
60亿 / 不适用
知识截止
暂无数据
LightGPT Instruct 6B
开源和体验地址
LightGPT Instruct 6B
官方介绍与博客
官方论文
暂无
DataLearnerAI博客
暂无
LightGPT Instruct 6B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
LightGPT Instruct 6B
发布机构
亚马逊
查看发布机构详情 LightGPT-instruct-6B
模型解读
LightGPT是亚马逊发布的基于GPT-J-6B微调的指令优化的大语言模型。支持的语言为英文，完全开源。
相比较原始的GPT-J模型，LightGPT Instruct 6B的性能更好，其对比结果如下：
| LAMBADA PPL | LAMBADA Acc | Winogrande | Hellaswag | PIQA | |
|---|---|---|---|---|---|
| GPT-J | 3.99 | 69.7% | 65.3% | 66.1% | 76.5% |
| LightGPT-instruct | 4.33 | 65.0% | 64.6% | 63.9% | 75.5% |
基础模型
GPT-J
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
