智谱AI发布第二代CodeGeeX编程大模型:CodeGeeX2-6B,最低6GB显存可运行,基于ChatGLM2-6B微调

标签:#ChatGLM2-6B##CodeGeeX##CodeGeeX2-6B##编程大模型# 时间:2023/07/25 15:26:41 作者:小木

编程大模型是大语言模型的一个非常重要的应用。刚刚,清华大学系创业企业智谱AI开源了最新的一个编程大模型,CodeGeeX2-6B。这是基于ChatGLM2-6B微调的针对编程领域的大模型。

不过,需要注意的是,官方说CodeGeeX2-6B对学术研究完全开放,商用需要申请,可能是收费商用授权

[TOC]

昨天,北京智源人工智能研究院才开源AquilaCode-7B模型,今天智谱AI就开源了CodeGeeX2-6B,不得不说国产大模型进展神速啊:

至此,编程大模型再度扩张版图~


上面的筛选来源DataLearner大模型列表:https://www.datalearner.com/ai-models/pretrained-models?&aiArea=1002&language=-1&contextLength=-1&openSource=-1&publisher=-1

CodeGeeX2简介

CodeGeeX是2022年9月份智谱AI发布的一个编程大模型,是基于第一代GLM模型微调得到(CodeGeeX模型信息:https://www.datalearner.com/ai-models/pretrained-models/CodeGeeX )。本次发布的是第二代CodeGeeX模型,是6B版本。第一代模型20万一年的授权费。该模型授权费用尚未公布!但已经有申请地址:https://open.bigmodel.cn/mla/form

根据官方的描述,CodeGeeX2的主要特点和升级结果包括:

  • 更强大的代码能力:CodeGeeX2是基于ChatGLM2模型微调得到,在原有模型基础上继续基于6000亿代码数据训练。相比第一代的版本在各个语言的表现上提升都很高。
  • 更优秀的模型特性:支持中英文输入,最高8K上下文,推理速度提升很高,最低量化版本的模型只需要5.5GB显存即可运行
  • 更好地生态和插件:官方提供了VSCode和Jetbrains两个平台的插件,支持超过100多种编程语言,生态更加完善
  • 更开发的开源协议:CodeGeeX2-6B是完全开源的,代码开源协议Apache2.0,模型预训练结果学术研究免费,商用需要申请。

CodeGeeX2-6B评测结果

CodeGeeX2模型在编程效果上有很大的提升。根据官方的说明,即使是6B版本的CodeGeeX2-6B也有很强大的性能,评测结果甚至超过150亿参数规模的starcode(StarCode是BigCode开源的编程大模型:https://www.datalearner.com/ai-models/pretrained-models/StarCoder )。

下图是在HumanEval上的评测结果:


可以看到,其中CodeGeeX2-6B比第一代CodeGeeX-13B提升了13分(22.9到35.9分),排名第一,甚至超过了LLaMA2-70B的效果。

CodeGeeX2-6B与智源人工智能研究院AquilaCode-7B对比

这里提一下昨天智源人工智能研究院刚发布的AquilaCode-multi-7B模型,它的测试结果与CodeGeeX2对比如下:

模型 Pass@ 1
AquilaCode-7B-multi 22.0
CodeGeeX2-6B 28.1

可以看到,尽管昨天的AquilaCode表现也不错,但是依然不如清华大学这个CodeGeeX。而昨天发布的还有一个AquilaCode-py是智源人工智能研究院开源的针对Python优化的,对比结果如下:

模型 Pass@ 1
AquilaCode-7B-py 28.8
CodeGeeX2-6B 35.9

CodeGeeX0-6B也是要比AquilaCode稍微好点。

CodeGeeX2-6B的性能和资源需求

与ChatGLM2一样优秀的是CodeGeeX2-6B的效果很好的同时,也对资源的要求很低。目前最低的INT4量化仅需5.5GB显存即可运行,推理速度则是94个字符/秒。

模型 FP16/BF16 INT8 INT4
CodeGeeX-13B 26.9GB 14.7GB -
CodeGeeX2-6B 13.1GB 8.2GB 5.5GB

推理速度如下:

模型 推理速度(字符/秒 )
CodeGeeX-13B 32
CodeGeeX2-6B 94

这么看,相比较第一代的CodeGeeX013B,第二代的CodeGeeX2-6B的参数规模降低了一般多,资源消耗也只有一半,但是性能却增加很多!

CodeGeeX2-6B的开源地址、预训练权重地址参考模型信息卡:https://www.datalearner.com/ai-models/pretrained-models/CodeGeeX2-6B

欢迎大家关注DataLearner官方微信,接受最新的AI技术推送