Phi-3-mini 3.8B

微软发布的第三代Phi模型。Phi系列是微软开发的小规模参数语言模型，在30亿及以下的参数规模中，表现亮眼。

这里的Phi-3-mini-3.8B是第三代Phi模型中最小的版本，参数规模38亿。但是在MMLU等评测上结果非常亮眼。

Phi-3-mini-3.8B模型采用了transformer的decoder架构，默认上下文长度是4K，采用了和Llama-2类似的block结构，使用同样的tokenizer，词汇表大小为32064。因此，任何为Llama2开发的工具套件几乎可以直接应用在phi-3-mini上，这个模型训练数据量达到了3.3万亿tokens。