可以在手机端运行的大模型标杆：微软发布第三代Phi-3系列模型，评测结果超过同等参数规模水平，包含三个版本，最小38亿，最高140亿参数

Phi系列大语言模型是微软开源一个小规模参数的语言模型。第一代和第二代的Phi模型参数规模都不超过30亿，但是在多个评测结果上都取得了非常亮眼的成绩。今天，微软发布了第三代Phi系列大模型，最高参数规模也到了140亿，其中最小的模型参数38亿，评测结果接近GPT-3.5的水平。

Phi系列模型简介

大语言模型的一个重要应用方向就是在手机端运行。为此，30亿参数规模几乎是上限（超过这个规模的模型，需要通过量化等手段牺牲模型性能）。在这其中，微软的Phi系列模型是最具有竞争力的。

Phi系列模型的目的是希望在小规模参数的模型上获得传统大模型的能力。在2023年6月份，微软开源了第一代Phi模型，这个模型参数规模仅有13亿，这是一个纯粹的编程大模型，但是效果不错，三个月后，微软发布Phi-1.5模型，在Phi-1代码补全的基础上增加了模型推理能力和语言理解的能力，参数量不变。随后，2023年年底微软开源了Phi-2模型，这个模型的参数增长到27亿，但是MMLU评测结果超过了LLaMA2 13B，让大家十分惊叹。

四个月后的今天，微软发布了第三代Phi模型，这一代的模型最小参数38亿，最大规模拓展到了140亿，包含3个版本，分别是Phi-mini-3.8B、Phi-small-7B和Phi-medium-14B。参数规模增长的同时，能力也大幅提高。

第三代Phi-3模型简介

第三代的Phi模型是微软继续探索小规模参数语言模型的成果。尽管Phi-3包含了70亿和140亿两个较大规模版本的模型。但是最小的38亿参数模型依然可以在手机端运行。

Phi-3-mini-3.8B模型采用了transformer的decoder架构，默认上下文长度是4K，采用了和Llama-2类似的block结构，使用同样的tokenizer，词汇表大小为32064。因此，任何为Llama2开发的工具套件几乎可以直接应用在phi-3-mini上，这个模型训练数据量达到了3.3万亿tokens。

Phi-3-small-7B是新增的一个更大规模参数版本的Phi模型，参数70亿，但是tokenizer换成了tiktoken，使之有更好的多语言能力，词汇表大小也拓展到了100352，默认上下文长度是8K，模型也有分组查询注意力机制（Group Query Attention，GQA），从这个变化看，和Llama3的架构非常接近（Llama3的详细分析参考：https://www.datalearner.com/blog/1051713454866102 ）。模型的数据训练量达到了4.8万亿tokens。

Phi-3还有一个140亿参数规模的Phi-3-medium-14B版本，架构与最小的Phi-3-mini-3.8B相同，但是训练的epoch更多，训练的数据量和Phi-3-small一样，4.9万亿tokens。但是这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。

Phi-3三个版本模型对比总结如下表：

注意，这里的BPE全称就是byte-level Byte-Pair Encoding。

Phi-3模型系列更多的详情参考DataLearnerAI模型信息卡地址：

Phi-3系列模型评测结果接近GPT-3.5

Phi系列模型的评测结果一直非常优秀，尽管在复杂任务上与大规模参数版本的大模型有差距，但是作为一个几十亿参数模型来说，已经表现很不错了。

本次第三代Phi模型的提升也比较大。首先，我们看一下在30亿参数规模左右模型的对比结果：

数据来源：https://www.datalearner.com/ai-models/leaderboard/datalearner-llm-leaderboard?modelSize=3b

上图是DataLearnerAI收集的30亿参数以下大模型评测对比结果。可以看到，Phi-3-mini-3.8B得分远超其它同等参数规模的模型，效果非常好。而且不仅仅是MMLU的综合评测理解上，在数学推理GSM8K以及MT-Bench上表现也非常好。其70亿参数规模版本的模型在MMLU测评上甚至超过了Anthropic旗下的Claude3-Haiku模型！

如果不限制参数规模，与所有其它模型相比，Phi-3-medium超过了此前Mixtral-8×22B-MoE模型，表现非常亮眼：

数据来源L：https://www.datalearner.com/ai-models/leaderboard/datalearner-llm-leaderboard

在编程评测HumanEval上，这三个模型相差不大，甚至最大的140亿参数规模的Phi-3-medium-14B水平表现略有下降，十分奇怪：

数据来源：https://www.datalearner.com/ai-models/leaderboard/datalearner-llm-coding-leaderboard

从这些评测结果看，Phi-3模型的变现十分优秀。不过，有争议的是Phi系列模型一直因为评测结果很高但是参数量很少受到质疑。其实，从现在的情况看，因为大多数评测的数据过于陈旧，导致模型评测结果的区分度已经降低。而且很多模型都会在有监督微调（SFT）阶段针对性的做微调，会导致评测分数虚高。不过，从侧面看，在30亿参数规模的模型中，Phi系列一直是标杆，还是值得关注的。

Phi-3系列的开源情况

目前，Phi-3系列模型只发布了论文信息，还没有预训练结果发布。大家关注DataLearnerAI的模型信息卡可以获取后续的情况。根据Phi-2模型发布的情况看，最早Phi2模型是不可以商用的，但是过了一段时间，开源协议改成MIT开源协议，没有任何商用限制。Phi-3可以期待也是类似的开源协议。