Phi-3-medium 14B-preview
模型参数
140亿
上下文长度
4K
中文支持
不支持
推理能力
Phi-3-medium 14B-preview 是由 Microsoft Azure 发布的 AI 模型，发布时间为 2024-04-23，定位为 基础大模型，参数规模约为 140亿，上下文长度为 4K，模型文件大小约 28GB，采用 MIT License 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Phi-3-medium 14B-preview
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-04-23
模型文件大小
28GB
MoE架构
否
总参数 / 激活参数
140亿 / 不涉及
知识截止
暂无数据
Phi-3-medium 14B-preview
开源和体验地址
Phi-3-medium 14B-preview
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
Phi-3-medium 14B-preview
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Phi-3-medium 14B-preview
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
Phi-3-medium 14B-preview
发布机构
Microsoft Azure
查看发布机构详情 Phi-3-medium 14B-preview
模型解读
微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。前两代模型都在30亿参数规模，第三代模型最高参数量达到140亿。
这里的Phi-3-meidum-14B是第三代Phi模型中最大的一个版本，参数规模140亿。架构与最小的Phi-3-mini-3.8B相同，tokenizer是byte-level Byte-Pair Encoding，BPE。
与Phi-3-mini相比，这个模型训练的epoch更多，训练的数据量和Phi-3-small一样，达到4.9万亿tokens。
官方的技术报告说这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。
Phi-3三个版本模型对比总结如下表：
| 模型版本 | Phi3-mini | Phi3-small | Phi3-medium |
|---|---|---|---|
| 参数规模 | 38亿 | 70亿 | 140亿 |
| 上下文长度 | 4K | 8K | 4K |
| 词汇表数量 | 32K | 100K | 32K |
| tokenizer | BPE | tiktoken | BPE |
| 训练数据量 | 3.8万亿 | 4.8万亿 | 4.8万亿 |
注意，这里的BPE全称就是byte-level Byte-Pair Encoding。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
