| CodeLlama-70B-Instruct | 指令优化的编程大模型，可以识别用户的文本指令生成代码。 | https://www.datalearner.com/ai-models/pretrained-models/CodeLlama-70B-Instruct |
其中CodeLlama-70B-Instruct在HumanEval@ 1评分67.8，超过了GPT-4官方论文的成绩，详情可以参考上述模型信息卡地址内容。
据DataLearnerAI收集的大模型代码评测结果，我们可以看到CodeLlama-70B-Instruct成绩非常优秀。超过了了Gemini Pro：
MetaAI发布的LLaMA系列开源大语言模型已经是开源大模型领域最重要的力量了。相当多的所谓开源大模型都是基于这个模型微调得到。在上个月，LLaMA2发布，吸引了全球非常多的关注，也有相当多的后续模型基于LLaMA2进行优化。而今天MetaAI再次开源全新的编程大模型——CodeLLaMA系列，这是MetaAI第一次发布编程大模型，本次发布的CodeLLaMA共有9个版本，分别是CodeLLaMA系列、针对Python优化的CodeLLaMA-Python系列和针对指令优化的CodeLLaMA-Instruct系列，每一个版本都包含3个参数版本，分别是7B、13B和34B。
Llama 2作为一个通用语言模型表现强劲，但直接应用到代码任务上还有进一步优化的空间。基于Llama 2进行代码专用的训练和调优，可以充分发挥其潜力。为此，MetaAI发布了CodeLLaMA系列。
CodeLLaMA是基于Llama 2基础模型继续训练和微调得到的代码专用语言模型。相比完全从头训练，继承Llama 2的预训练带来明显提升。
根据官网的论文介绍，CodeLLaMA的特点如下：
MetaAI发布的CodeLLaMA共包含3个版本9个模型，具体如下：
具体来说:
三个版本都提供了7B、13B和34B参数量的选择。 所以用户可以根据实际使用场景和参数量预算选择不同的版本。CodeLLaMA系列覆盖了从通用到专业、从基础到细调的不同需求。
如前所述，CodeLLaMA是在LLaMA2基础上微调得到。具体来说，CodeLLaMA系列是在原有LLaMA2基础上增加了5000亿tokens的数据集微调得到，这5000亿tokens数据中85%是代码数据，与代码有关的自然语言处理部分8%，数据集大小895GB。
而CodeLLaMA-Python系列则是在CodeLLaMA系列基础上继续增加1000亿tokens数据集微调得到。其中Python代码占75%。这部分数据集磁盘空间79GB。
MetaAI在多个测试中做了评测，主要结果如下：
总体来说，CodeLLaMA系列模型在公开可用的代码生成语言模型中取得了领先的效果。而且可以看到它比Codex和PaLM-Coder的表现都要好！
CodeLLaMA系列与LLaMA2的开源协议完全一样，可以免费商用授权。不过目前没有把预训练结果放到HuggingFace上，而是要去官网申请，申请速度也很快。
具体的代码地址和其它信息参考DataLearner模型信息卡：
