phi-1.5
模型参数
13亿
上下文长度
2K
中文支持
不支持
推理能力
phi-1.5 是由 Microsoft Azure 发布的 AI 模型，发布时间为 2023-09-11，定位为 基础大模型，参数规模约为 13亿，上下文长度为 2K，模型文件大小约 2.84GB，采用 MICROSOFT RESEARCH LICENSE TERMS 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
phi-1.5
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-09-11
模型文件大小
2.84GB
MoE架构
否
总参数 / 激活参数
13亿 / 不涉及
知识截止
暂无数据
phi-1.5
开源和体验地址
预训练权重开源
GitHub 源码
暂无GitHub开源地址
Hugging Face
在线体验
暂无在线体验地址
phi-1.5
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
phi-1.5
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
phi-1.5
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
phi-1.5
发布机构
Microsoft Azure
查看发布机构详情 phi-1.5
模型解读
phi-1.5是一个具有1.3亿参数的语言模型，phi-1.5，它主要基于人工合成的数据集进行训练，达到了比其10倍规模的模型相近的常识推理能力。该模型使用了人工合成的“教科书式”数据进行训练，包含了大量常识推理和世界知识。phi-1.5使用24层Transformer架构，头数32，维度64。
phi-1.5使用了phi-1的训练数据7亿词元，以及新的200亿词元人工合成数据。合成数据的主题精心选择，避免了网络数据的偏见和有害内容。
phi-1.5从随机初始化开始训练，使用Adam优化器，学习率2e-4，一共训练了1500亿个词元。使用FP16和Zero优化内存。
基准测试
在常识推理、语言理解和编程任务上测试了phi-1.5，结果表明其性能接近且在某些任务上超过了10倍参数规模的模型，尤其是多步推理任务。
微软还训练了另一个模型phi-1.5-web，加入了部分过滤后的网络语料。结果表明，高质量合成数据的作用远远大于网络语料。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
