Phi-3-medium 14B-preview 简介

微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。前两代模型都在30亿参数规模，第三代模型最高参数量达到140亿。

这里的Phi-3-meidum-14B是第三代Phi模型中最大的一个版本，参数规模140亿。架构与最小的Phi-3-mini-3.8B相同，tokenizer是byte-level Byte-Pair Encoding，BPE。

与Phi-3-mini相比，这个模型训练的epoch更多，训练的数据量和Phi-3-small一样，达到4.9万亿tokens。

官方的技术报告说这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。

Phi-3三个版本模型对比总结如下表：

注意，这里的BPE全称就是byte-level Byte-Pair Encoding。