Phi-3-medium is the 14B model in Microsoft's Phi-3 family, previewed in April 2024 and released in May with 4K and 128K context versions. Trained on heavily filtered web and synthetic data, it outperformed larger models such as Mixtral 8x22B on several benchmarks, under the MIT License.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
发布机构
模型解读
微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。前两代模型都在30亿参数规模，第三代模型最高参数量达到140亿。
这里的Phi-3-meidum-14B是第三代Phi模型中最大的一个版本，参数规模140亿。架构与最小的Phi-3-mini-3.8B相同，tokenizer是byte-level Byte-Pair Encoding，BPE。
与Phi-3-mini相比，这个模型训练的epoch更多，训练的数据量和Phi-3-small一样，达到4.9万亿tokens。
官方的技术报告说这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。
Phi-3三个版本模型对比总结如下表：
| 模型版本 | Phi3-mini | Phi3-small | Phi3-medium |
|---|---|---|---|
| 参数规模 | 38亿 | 70亿 | 140亿 |
| 上下文长度 | 4K | 8K | 4K |
| 词汇表数量 | 32K | 100K | 32K |
| tokenizer | BPE | tiktoken | BPE |
| 训练数据量 | 3.8万亿 | 4.8万亿 | 4.8万亿 |
注意，这里的BPE全称就是byte-level Byte-Pair Encoding。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
