phi-1.5 - phi-1.5

模型详细情况和参数

phi-1.5

模型全称
phi-1.5
模型简称
phi-1.5
模型类型
基础大模型
发布日期
2023-09-11
预训练文件大小
2.84GB
是否支持中文(中文优化)
最高支持的上下文长度
2K
模型参数数量(亿)
13
代码是否开源
MICROSOFT RESEARCH LICENSE TERMS
预训练结果是否开源
MICROSOFT RESEARCH LICENSE TERMS
预训练结果商用授权情况
不可以商用
模型GitHub链接
暂无
发布论文名(官方博客名)
Textbooks Are All You Need II: phi-1.5 technical report
论文地址(官方博客地址)
https://arxiv.org/abs/2309.05463
基础模型
无基础模型
发布机构

phi-1.5 简介

phi-1.5是一个具有1.3亿参数的语言模型,phi-1.5,它主要基于人工合成的数据集进行训练,达到了比其10倍规模的模型相近的常识推理能力。该模型使用了人工合成的“教科书式”数据进行训练,包含了大量常识推理和世界知识。phi-1.5使用24层Transformer架构,头数32,维度64。


phi-1.5使用了phi-1的训练数据7亿词元,以及新的200亿词元人工合成数据。合成数据的主题精心选择,避免了网络数据的偏见和有害内容。


phi-1.5从随机初始化开始训练,使用Adam优化器,学习率2e-4,一共训练了1500亿个词元。使用FP16和Zero优化内存。


基准测试

在常识推理、语言理解和编程任务上测试了phi-1.5,结果表明其性能接近且在某些任务上超过了10倍参数规模的模型,尤其是多步推理任务。


微软还训练了另一个模型phi-1.5-web,加入了部分过滤后的网络语料。结果表明,高质量合成数据的作用远远大于网络语料。


欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

phi-1.5所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

phi-1.5相关的任务
问答系统

问答系统

Question Answering

35个资源