MiMo-V2.5-Pro

MiMo-V2.5-Pro 是小米 MiMo 团队于 2026 年 4 月 27 日开源的旗舰语言模型，官方称其为当时“能力最强的模型”，面向最苛刻的智能体、复杂软件工程与长程任务，能维持上千次工具调用的复杂轨迹，MIT 许可。

架构与规格

• 参数：MoE，总参数 1.02 万亿、激活 420 亿；70 层（1 层稠密 + 69 层 MoE），每 token 激活 8 个专家。
• 注意力：滑动窗口与全局注意力按 6:1 交错，窗口 128 token，KV cache 约减少 7 倍。
• MTP：3 个轻量多 token 预测模块，推理输出速度约提升 3 倍。
• 训练：FP8 混合精度 27 万亿 token，原生 32K 序列；后训练包括 SFT、大规模智能体强化学习与多教师在线蒸馏（MOPD）。
• 上下文：1M token（Base 版 256K）。官方 GraphWalks 测试显示，前代 V2 Pro 超过 128K 后迅速退化，而 V2.5-Pro 在 512K 时 BFS/Parents 仍为 0.56/0.92。