Phi-2

----------2024年1月4日更新：微软将Phi-2开源协议修改外MIT开源协议，完全解除商用限制！----

Phi是微软发布的一系列参数规模在几十亿的大模型。Phi2是当前最新的27亿参数的大模型。这个模型虽然参数不高，但是推理能力、语言理解能力等评测结果都超过了当前主流的70亿参数的大模型，甚至接近Llama-2 70B模型的水平，十分让人惊讶。

不过与之前的Phi-1和Phi-1.5不同的是，这个模型只对研究开放，没有开源。目前只能通过Azure AI Studio访问。

Phi-2模型的技术细节

Phi-2模型是微软发布的一系列较小规模参数的大语言模型，第一代的Phi-1和Phi-1.5只有13亿参数规模，但是取得了很好的效果。不过业界都怀疑他们利用了benchmark的数据集，所以才会效果很好。而此次发布的Phi-2参数为27亿，并解释了他们调查过，但是是Phi-2的训练数据不涉及任何开源评测数据的泄露。

Phi-1和Phi-1.5都是13亿参数，Phi-1是真的代码能力训练的，而Phi-1.5是Phi-1基础上加入NLP语料训练得到的，除了代码水平略有降低外，NLP理解能力大幅增加。具体参考：

Phi-1： https://www.datalearner.com/ai-models/pretrained-models/Phi-1 

Phi-1.5： https://www.datalearner.com/ai-models/pretrained-models/Phi-1_5 

Phi-2最重要的技术突破来源于2个：一个是高质量的文本数据。他们关注“textbook-quality”（教科书质量）的数据集，利用现有的大模型合成数据，包括常识推理、一般知识、科学、日常活动和心里理论等数据，然后在训练语料库种加入经过筛选的网络数据，共同组成了Phi-2模型的训练数据集。

另一个技术是使用Phi-1.5模型的知识嵌入到Phi-2中，采用知识转义的方式加速训练收敛，并显著提升了Phi-2的效果。使得Phi-2模型的水平可以超过其参数规模25倍的130亿参数的大模型。

不过这两项的细节都没有公布。第一个合成数据的部分可以参考此前模型的论文： https://www.microsoft.com/en-us/research/publication/textbooks-are-all-you-need/ 

Phi-2模型的训练数据集有2500亿tokens，但是训练了1.4万亿tokens，说明训练了不止一个epoch，数据集包含网络数据集和合成数据集（GPT-3.5合成的），包括自然语言部分的文本和代码数据。在96个A100 GPUs训练了14天。注意，这个模型没有做任何对齐调优或者是RLHF训练。

Phi-2模型的评价

Phi-2模型虽然只有27亿参数，但是模型效果非常好。它在不同评测基准上的效果超过了此前著名的欧洲之光Mistral-7B，接近Llama2-70B。

可以看到，Phi-2的各方面表现都很好。

DataLearnerAI的大模型评测数据排行上可以看到Phi系列模型的进步：

Phi系列编程水平： https://www.datalearner.com/ai-models/llm-coding-evaluation 

Phi系列的综合水平： https://www.datalearner.com/ai-models/llm-evaluation?modelSize=3b