GL

GLM-130B

基础大模型

GLM-130B

发布时间: 2022-03-17

模型参数(Parameters)
1300.0
最高上下文长度(Context Length)
2K
是否支持中文
支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

2K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2022-03-17

模型预文件大小
暂无数据

开源和体验地址

代码开源状态
预训练权重开源
不开源 - 不开源
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

GLM-130B模型在各大评测榜单的评分

发布机构

模型介绍

GLM-130B是清华大学基于GLM模型(模型卡: https://www.datalearner.com/ai-models/base-models/GLM )训练的一个1300亿超大参数规模的预训练大模型,这是一个开放的双语(英文和中文)双向密集模型,有1300亿个参数,使用通用语言模型(GLM)的算法进行预训练。它被设计用来支持在一台A100(40G*8)或V100(32G*8)服务器上的130B参数的推理任务。通过INT4量化,硬件要求可以进一步降低到4*RTX 3090(24G)的单台服务器,而且几乎没有性能下降。截至2022年7月3日,GLM-130B已经对超过4000亿个文本标记(中文和英文各2000B)进行了训练,它有以下独特的功能。


  • 双语:同时支持英文和中文。
  • 性能(EN):在LAMBADA上优于GPT-3 175B(+4.0%)、OPT-175B(+5.5%)和BLOOM-176B(+13.0%),在MMLU上略优于GPT-3 175B(+0.9%)。
  • 性能(CN):在7个零次CLUE数据集(+24.26%)和5个零次FewCLUE数据集(+12.75%)上明显优于ERNIE TITAN 3.0 260B。
  • 快速推理:支持用一台A100服务器对SAT和FasterTransformer进行快速推理(速度最高可达2.5倍)。
  • 可复制性:所有结果(30多个任务)都可以通过开源代码和模型检查点轻松复制。
  • 跨平台:支持在NVIDIA、Hygon DCU、Ascend 910和Sunway(将很快发布)上进行训练和推理。


需要注意的是,这个模型虽然开源,但是需要发邮件申请才能使用。不过这么大规模一般个人也很少申请。


硬件要求

显卡要求GPU显存量化放十四权重Offload
8 * A10040 GBNoNo
8 * V10032 GBNoYes (BMInf)
8 * V10032 GBINT8No
8 * RTX 309024 GBINT8No
4 * RTX 309024 GBINT4No
8 * RTX 2080 Ti11 GBINT4No


可以看到,这个配置真心不低啊!



Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat