IN
INT8 GPT-J 6B
基础大模型INT8 GPT-J 6B
发布时间: 2023-03-16更新于: 2023-03-18 16:34:53.831494
模型参数
60亿
上下文长度
2K
中文支持
不支持
推理能力
INT8 GPT-J 6B 是由 BigScience 发布的 AI 模型，发布时间为 2023-03-16，定位为 基础大模型，参数规模约为 60亿，上下文长度为 2K，模型文件大小约 6。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
INT8 GPT-J 6B
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-03-16
模型文件大小
6
MoE架构
否
总参数 / 激活参数
60亿 / 不涉及
知识截止
暂无数据
INT8 GPT-J 6B
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
INT8 GPT-J 6B
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
INT8 GPT-J 6B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
INT8 GPT-J 6B
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
INT8 GPT-J 6B
发布机构
BigScience
查看发布机构详情 INT8 GPT-J 6B
模型解读
INT8 GPT-J 6B是GPT-J 6B的INT8量化版本，由Intel提供。
这个int8 ONNX模型是通过神经压缩器生成的，可以使用以下命令导出fp32模型：
python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past
测试结果如下：
| INT8量化 | FP32版本 | |
|---|---|---|
| Lamabda数据集准确率 | 0.7926 | 0.7954 |
| 模型大小（GB） | 6 | 23 |
可以看到，这个压缩版本使得模型从原来的23G压缩到了6G，但是准确率几乎没有下降，十分值得大家自己使用！
基础模型
GPT-J
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
