Phi-3-mini 3.8B
Phi-3-mini 3.8B is an AI model published by Microsoft Azure, released on 2024-04-23, for 基础大模型, with 38.0B parameters, and 4K tokens context length, requiring about 7.6GB storage, under the MIT License license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。
这里的Phi-3-mini-3.8B是第三代Phi模型中最小的版本，参数规模38亿。但是在MMLU等评测上结果非常亮眼。
Phi-3-mini-3.8B模型采用了transformer的decoder架构，默认上下文长度是4K，采用了和Llama-2类似的block结构，使用同样的tokenizer，词汇表大小为32064。因此，任何为Llama2开发的工具套件几乎可以直接应用在phi-3-mini上，这个模型训练数据量达到了3.3万亿tokens。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
