MiMo-V2-Flash

MiMo-V2-Flash 是小米 MiMo 团队于 2025 年 12 月 16 日开源的 MoE 大语言模型，总参数 3090 亿、激活 150 亿，面向高速推理与智能体工作流，MIT 许可，同时开放 Base 版本与 MTP 权重。

架构与训练

• 混合注意力：滑动窗口注意力与全局注意力按 5:1 交错，窗口仅 128 token，KV cache 约减少 6 倍。
• 多 token 预测（MTP）：轻量 MTP 模块使推理输出速度约提升 3 倍。
• 预训练：FP8 混合精度训练 27 万亿 token，原生 32K 序列，上下文支持 256K。
• 后训练：多教师在线蒸馏（MOPD）与大规模智能体强化学习。

官方成绩

• SWE-bench Verified：73.4；SWE-bench Multilingual：71.7
• AIME 2025：94.1
• Terminal-Bench Hard：30.5

后续的 MiMo-V2.5 以它为语言骨干扩展为全模态模型。