Qwen1.5-MoE-A2.7B

阿里巴巴开源的阿里系首个MoE大语言模型，143亿参数模型效果与70亿差不多，但是每次推理只激活27亿参数，可以在手机端运行。