LightGPT-instruct-6B
LightGPT-instruct-6B 是由 亚马逊 发布的 AI 模型，发布时间为 2023-05-24，定位为 基础大模型，参数规模约为 60.0B，上下文长度为 2K，模型文件大小约 12.2GB，采用 Apache 2.0 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
LightGPT是亚马逊发布的基于GPT-J-6B微调的指令优化的大语言模型。支持的语言为英文，完全开源。
相比较原始的GPT-J模型，LightGPT Instruct 6B的性能更好，其对比结果如下：
| LAMBADA PPL | LAMBADA Acc | Winogrande | Hellaswag | PIQA | |
|---|---|---|---|---|---|
| GPT-J | 3.99 | 69.7% | 65.3% | 66.1% | 76.5% |
| LightGPT-instruct | 4.33 | 65.0% | 64.6% | 63.9% | 75.5% |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
