Phi-3-medium 14B-preview
Phi-3-medium 14B-preview
模型参数
140.0亿
上下文长度
4K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
4K tokens
最大输出长度
暂无数据
模型类型
基础大模型
发布时间
2024-04-23
模型文件大小
28GB
MoE架构
否
总参数 / 激活参数
140.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
Microsoft Azure
查看发布机构详情 模型解读
微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。前两代模型都在30亿参数规模，第三代模型最高参数量达到140亿。
这里的Phi-3-meidum-14B是第三代Phi模型中最大的一个版本，参数规模140亿。架构与最小的Phi-3-mini-3.8B相同，tokenizer是byte-level Byte-Pair Encoding，BPE。
与Phi-3-mini相比，这个模型训练的epoch更多，训练的数据量和Phi-3-small一样，达到4.9万亿tokens。
官方的技术报告说这个模型比Phi-3-small-7B的提升不如Phi-3-small-7B相比Phi-3-mini-3.8B提升多。作者认为可能是数据问题，所以后面他们还会改进，因此，把这个Phi-3-medium-14B称为preview版本。
Phi-3三个版本模型对比总结如下表：
| 模型版本 | Phi3-mini | Phi3-small | Phi3-medium |
|---|---|---|---|
| 参数规模 | 38亿 | 70亿 | 140亿 |
| 上下文长度 | 4K | 8K | 4K |
| 词汇表数量 | 32K | 100K | 32K |
| tokenizer | BPE | tiktoken | BPE |
| 训练数据量 | 3.8万亿 | 4.8万亿 | 4.8万亿 |
注意，这里的BPE全称就是byte-level Byte-Pair Encoding。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
