Google开源CodeGemma编程大模型和RNN架构大模型RecurrentGemma，同等参数规模最强编程大模型以及更快的大模型

Gemma系列是谷歌开源的与Gemini同源的小规模参数版本的大语言模型，此前只有70亿参数和20亿参数的Gemma大语言模型。而现在，Google又开源了2个系列的新的大模型：一个是编程大模型CodeGemma系列，一个是基于RNN架构新型大模型RecurrentGemma。

CodeGemma系列大模型简介

CodeGemma是谷歌开源的编程大模型，它是用Gemma系列模型继续在代码数据集上训练得到的。Google共开源了3个版本的CodeGemma模型，分别是CodeGemma-7B、CodeGemma-7B-IT以及CodeGemma-2B。三者的关系如下：

可以看到，CodeGemma-2B模型是Gemma-2B模型在全部的代码补全数据集上继续训练得到的。而CodeGemma-7B模型则是用Gemma-7B模型在80%的代码补全数据集以及20%的自然语言数据集上进行训练得到。在此基础上，继续使用代码有监督微调和**基于人类反馈的强化学习（RLHF）**方式进行指令对齐，得到指令优化版本的CodeGemma-7B-IT模型，这里的IT就是Instruct的缩写。