Phi-1
Phi-1 是由 Microsoft Azure 发布的 AI 模型,发布时间为 2023-06-20,定位为 基础大模型,参数规模约为 13.0B,上下文长度为 2K,模型文件大小约 2.84GB,采用 Microsoft Research License 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
这是微软发布的一个小规模参数的大语言模型,目的是证明使用高质量数据集和合适的模型架构,可以让小规模参数的模型也有涌现的能力。
Phi-1是一个参数仅有13亿的大语言模型,目标是代码生成。从网络上用了60亿tokens的教科书般质量的数据集以及GPT-3.5合成的10亿tokens数据集进行训练。最终,这个模型在代码生成能力上表现非凡,它的python代码生成评测结果与CodeLLaMA-34B差不多,十分让人惊叹。
不过,Phi-1是一个不能商用模型。它的编程评测结果参考我们DataLearnerAI的大模型编程排行: https://www.datalearner.com/ai-models/llm-coding-evaluation
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
