phi-1.5

phi-1.5是一个具有1.3亿参数的语言模型，phi-1.5，它主要基于人工合成的数据集进行训练，达到了比其10倍规模的模型相近的常识推理能力。该模型使用了人工合成的“教科书式”数据进行训练，包含了大量常识推理和世界知识。phi-1.5使用24层Transformer架构，头数32，维度64。

phi-1.5使用了phi-1的训练数据7亿词元，以及新的200亿词元人工合成数据。合成数据的主题精心选择，避免了网络数据的偏见和有害内容。

phi-1.5从随机初始化开始训练，使用Adam优化器，学习率2e-4，一共训练了1500亿个词元。使用FP16和Zero优化内存。

基准测试

在常识推理、语言理解和编程任务上测试了phi-1.5，结果表明其性能接近且在某些任务上超过了10倍参数规模的模型，尤其是多步推理任务。

微软还训练了另一个模型phi-1.5-web，加入了部分过滤后的网络语料。结果表明，高质量合成数据的作用远远大于网络语料。