INT8 GPT-J 6B
INT8 GPT-J 6B
模型参数
60.0亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
发布时间
2023-03-16
模型文件大小
6
MoE架构
否
总参数 / 激活参数
60.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
BigScience
查看发布机构详情 模型解读
INT8 GPT-J 6B是GPT-J 6B的INT8量化版本，由Intel提供。
这个int8 ONNX模型是通过神经压缩器生成的，可以使用以下命令导出fp32模型：
python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past
测试结果如下：
| INT8量化 | FP32版本 | |
|---|---|---|
| Lamabda数据集准确率 | 0.7926 | 0.7954 |
| 模型大小（GB） | 6 | 23 |
可以看到，这个压缩版本使得模型从原来的23G压缩到了6G，但是准确率几乎没有下降，十分值得大家自己使用！
基础模型
GPT-J
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
