INT8 GPT-J 6B
INT8 GPT-J 6B is an AI model published by BigScience, released on 2023-03-16, for 基础大模型, with 60.0B parameters, and 2K tokens context length, requiring about 6 storage.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
INT8 GPT-J 6B是GPT-J 6B的INT8量化版本，由Intel提供。
这个int8 ONNX模型是通过神经压缩器生成的，可以使用以下命令导出fp32模型：
python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past
测试结果如下：
| INT8量化 | FP32版本 | |
|---|---|---|
| Lamabda数据集准确率 | 0.7926 | 0.7954 |
| 模型大小（GB） | 6 | 23 |
可以看到，这个压缩版本使得模型从原来的23G压缩到了6G，但是准确率几乎没有下降，十分值得大家自己使用！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
