Chat General Language Model 2 - 6B
Chat General Language Model 2 - 6B 是由 智谱AI 发布的 AI 模型，发布时间为 2023-06-25，定位为 聊天大模型，参数规模约为 62亿，上下文长度为 32K，模型文件大小约 12GB，采用 ChatGLM2-6B Model License 许可，在 ECI 上取得 98.41 分。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
ChatGLM2-6B 当前已收录的代表性评测结果包括 C-Eval（34 / 48，得分 51.70）、GSM8K（55 / 68，得分 32.37）、MMLU（109 / 124，得分 47.86）。 本页还汇总了参数规模、上下文长度与 API 价格，便于结合评测结果与部署约束一起判断模型适配度。
发布机构
模型解读
关于ChatGLM2-6B的详细介绍可以参考： https://www.datalearner.com/blog/1051687694704581
ChatGLM2-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的ChatGLM-6B模型的第二代。于2023年6月25日发布。
相比较第一代的ChatGLM-6B，ChatGLM2-6B模型的性能更加强大，并支持更长的上下文。
ChatGLM2-6B 使用了 Multi-Query Attention，提高了生成速度。生成 2000 个字符的平均速度对比如下
| Model | 推理速度 (字符/秒) |
|---|---|
| ChatGLM-6B | 31.49 |
| ChatGLM2-6B | 44.62 |
ChatGLM2-6B的推理显存需求：
| 量化等级 | 编码 2048 长度的最小显存 | 生成 8192 长度的最小显存 |
|---|---|---|
| FP16 / BF16 | 13.1 GB | 12.8 GB |
| INT8 | 8.2 GB | 8.1 GB |
| INT4 | 5.5 GB | 5.1 GB |
ChatGLM2-6B模型的预训练文件下载地址
HuggingFace地址： https://huggingface.co/THUDM/chatglm2-6b/tree/main
清华大学云盘地址： https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
注意，所有的bin文件都要下载，而且config.json也要下载，这个文件只能在HuggingFace上下载，缺少这个文件会报配置错误。
基础模型
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
