MiniMax-M1发布：首个开源混合注意力推理大模型，闪电注意力加持！

今天，AI领域再次迎来重磅消息！MiniMaxAI于2025年6月17日正式发布了其新一代大模型——MiniMax-M1。这款模型被誉为全球首个开源的、大规模混合注意力推理模型，其核心亮点在于结合了混合专家（MoE）架构和创新的闪电注意力（Lightning Attention）机制。MiniMax-M1不仅原生支持高达100万Token的上下文长度，更在测试时计算效率上实现了惊人突破，例如在生成10万Token时，其FLOPs消耗仅为DeepSeek R1的25%！这使得M1在处理需要长输入和深度思考的复杂任务时表现非常强大！

[TOC]

#### 模型特点与核心创新

MiniMax-M1是MiniMaxAI在大型语言模型领域的又一重要里程碑，定位为当前其产品线中最大且最强的开源模型。它基于其前代模型MiniMax-Text-01（包含4560亿总参数，每Token激活459亿参数）开发，并在此基础上进行了多项关键创新：

* **混合专家架构 (MoE):** M1采用了混合专家架构，总参数量达到4560亿，每个Token激活45.9亿参数，并设有32个专家。
* **闪电注意力机制 (Lightning Attention):** 这是M1的核心创新之一，通过该机制，模型在测试时计算（test-time compute）的扩展效率得到显著提升。
* **超长上下文支持:** M1原生支持高达100万Token的上下文长度，是DeepSeek R1（128K）的8倍，远超当前其他主流开源LRM（Large Reasoning Models，大型推理模型）。
* **卓越的计算效率:** 得益于闪电注意力，M1在长序列生成时展现出极高的计算效率。例如，与DeepSeek R1相比，在生成长度为10万Token时，M1消耗的FLOPs（浮点运算次数）仅为其25%。
* **强大的推理能力:** M1通过大规模强化学习（RL）进行训练，训练数据涵盖从传统数学推理到基于沙盒的真实世界软件工程环境等多样化问题。
* **创新的强化学习算法CISPO:** 为进一步提升RL效率，MiniMaxAI提出了CISPO算法，该算法通过裁剪重要性采样权重而非Token更新，表现优于其他竞争性RL变体。
* **高效的训练成本:** 结合混合注意力和CISPO算法，MiniMax-M1的完整RL训练仅用512块H800 GPU，在短短三周内完成，租赁成本仅为53.47万美元。
* **双版本发布:** MiniMaxAI发布了两个版本的MiniMax-M1模型，分别具有40K和80K的“思考预算”（即最大生成长度），其中40K模型代表80K训练过程中的一个中间阶段。

#### 关键技术升级

##### 闪电注意力 (Lightning Attention) 与混合架构

大型推理模型（LRMs）的成功主要归功于测试时计算的新扩展维度——在生成过程中为扩展推理过程投入更多FLOPs，模型性能会持续提升。然而，传统Transformer架构中Softmax注意力的二次计算复杂度限制了推理过程的持续扩展。

MiniMax-M1引入的闪电注意力（Lightning Attention）（Qin et al., 2024b）是一种I/O感知的线性注意力变体实现（Qin et al., 2022a）。在M1的注意力设计中，每七个采用闪电注意力的Transnormer模块之后，会跟随一个采用标准Softmax注意力的Transformer模块。这种混合设计理论上使得推理长度能够高效扩展至数十万Token。
如下方图表所示（图1 右），与DeepSeek R1相比，M1在生成长度为64K Token时消耗的FLOPs不到50%，在100K Token长度时约为25%。这种计算成本的大幅降低使得M1在推理和大规模RL训练中都更为高效。

##### CISPO：更高效的强化学习算法

强化学习是M1开发的核心阶段。为提升RL效率，MiniMaxAI提出了CISPO (Clipped IS-weight Policy Optimization)算法。传统的PPO/GRPO算法中的Token裁剪操作，尤其对于混合架构模型，可能会裁剪掉对学习至关重要的“反思性”Token（如“However”, “Recheck”等），这些Token往往概率较低但对引导推理路径和稳定熵至关重要。

CISPO放弃了信任区域约束，转而通过裁剪重要性采样权重来稳定训练，确保所有Token都能为梯度计算做出贡献。在基于Qwen2.5-32B模型的对照研究中，CISPO在AIME 2024基准上，相较于DAPO算法实现了2倍的训练速度提升。

<center>
<img src="https://i.imgur.com/your_placeholder_image_cispovsdapo.png" alt="图2 CISPO, DAPO, GRPO在AIME 2024上的性能比较（基于Qwen2.5-32B-base）。CISPO在相同训练步数下表现更优，并用50%的训练步数达到了DAPO的相当性能。" width="70%">
 
图2 CISPO, DAPO, GRPO在AIME 2024上的性能比较（来源：MiniMax-M1 论文，示意图，请替换为真实图片链接）
</center>

##### RL训练中的挑战与解决方案

作为大规模应用混合注意力架构进行RL训练的先行者，团队也遇到并解决了一些特有问题：
1.  **计算精度不匹配:** 训练模式和推理模式下Token概率存在显著差异，影响奖励增长。通过将LM输出头的计算精度提升至FP32解决。
2.  **优化器超参数敏感性:** AdamW优化器的beta和epsilon参数对训练稳定性影响较大。团队通过实验确定了更优的参数配置（𝛽1 = 0.9, 𝛽2 = 0.95, eps=1e-15）。
3.  **重复检测与提前截断:** 为防止模型生成病态的超长重复序列，开发了基于Token概率的启发式提前截断规则（连续3000个Token概率高于0.99则停止）。

#### 性能评测与对比

MiniMax-M1在多项标准基准测试中，展现了与当前顶尖开源模型（如原始DeepSeek-R1、Qwen3-235B）相当甚至更优的性能，尤其在复杂的软件工程、工具使用和长上下文任务上表现突出。

<center>
<img src="https://i.imgur.com/your_placeholder_image_fig1left.png" alt="图1 左：领先商业和开源模型在数学、编码、软件工程、工具使用和长上下文任务上的基准性能比较。MiniMax-M1此处使用MiniMax-M1-80k模型。" width="90%">
 
图1 左：领先商业和开源模型在数学、编码、软件工程、工具使用和长上下文任务上的基准性能比较。（来源：MiniMax-M1 论文，示意图，请替换为真实图片链接）
</center>
https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=16,33,32,35,31,40,42,37,36&modelInputString=590,589,567,576,492,575,578,558

从上图（图1 左）及论文中的详细数据（Table 2）可以看出：
* **数学推理:** MiniMax-M1-80k在AIME 2024上达到86.0%的准确率，位居开源模型第二，仅次于最新的DeepSeek-R1-0528。
* **通用编码:** MiniMax-M1-80k在LiveCodeBench上与Qwen3-235B表现持平（65.0%），在FullStackBench上则优于后者（68.3% vs 62.9%）。
* **软件工程:** 受益于RL阶段基于执行的软件工程环境训练，MiniMax-M1-40k和M1-80k在SWE-bench Verified上分别取得了55.6%和56.0%的优异成绩，显著优于其他多数开源模型。
* **长上下文理解:** 凭借其1M上下文窗口的巨大优势，M1模型在OpenAI-MRCR (128k)任务上，M1-80k取得了73.4%的成绩，远超其他所有开源模型，甚至超越了OpenAI o3 (56.5%) 和 Claude 4 Opus (48.9%)，仅次于Gemini 2.5 Pro (76.8%)。在OpenAI-MRCR (1M) 上M1-80k也达到了56.2%。
* **智能体工具使用:** 在TAU-bench (airline)任务上，MiniMax-M1-80k取得了62.0%的成绩，不仅超越了所有开源模型，甚至超越了Gemini-2.5 Pro (50.0%) 和 OpenAI o3 (52.0%)。

##### 不同模型的最大输入输出长度对比
为了更直观地展示MiniMax-M1在上下文处理能力上的优势，下表对比了M1与其他主流模型的最大输入及输出Token长度：

| 模型 | 最大输入长度 (Token) | 最大输出长度 (Token) |
| :------------------- | :--------------------: | :--------------------: |
| OpenAI o3 | 200K | 100K |
| Gemini 2.5 Pro | 1M | 64K |
| Claude 4 Opus | 200K | 32K |
| DeepSeek-R1-0528 | 128K | 64K |
| Qwen3-235B | 128K | 32K |
| **MiniMax-M1-80k** | 1M | 80K |
*表格1：不同推理模型的最大支持输入和输出长度（来源：MiniMax-M1 论文 Table 1）*

##### 推理效率对比 (FLOPs)
MiniMax-M1的闪电注意力机制带来了显著的推理效率提升，尤其在长序列生成方面。

<center>
<img src="https://i.imgur.com/your_placeholder_image_fig1right.png" alt="图1 右：理论推理FLOPs随生成长度（Token数量）的扩展情况。" width="70%">
 
图1 右：理论推理FLOPs随生成长度（Token数量）的扩展情况。（来源：MiniMax-M1 论文，示意图，请替换为真实图片链接）
</center>

上图（图1 右）清晰展示，随着生成长度的增加，MiniMax-M1所需的FLOPs远低于DeepSeek R1和Qwen3-235B-A22B。例如，在100K Token的生成长度下，M1的FLOPs消耗仅为DeepSeek R1的约25%。

#### 模型训练细节

MiniMax-M1的卓越性能离不开精心设计的训练流程和高质量数据。

##### 持续预训练与SFT
模型首先在MiniMax-Text-01的基础上，使用了额外7.5T Token进行持续预训练，数据优化了质量和混合比例，其中STEM、代码、书籍和推理相关数据占比提升至70%。长上下文训练从32K逐步扩展到1M Token，以避免梯度爆炸。
之后，通过监督微调（SFT）注入期望的行为模式（如基于反思的思维链CoT），为后续RL阶段打下坚实基础。SFT数据覆盖数学、编码、STEM、写作等领域，其中数学和编码样本约占60%。

##### 多样化数据的强化学习
RL阶段是M1能力提升的关键。团队使用了多样化的数据和环境：
*   **规则验证型任务:**
    *   **数学推理:** 近5万个高质量竞赛级数学问题。
    *   **逻辑推理:** 基于SynLogic框架生成的覆盖41个不同任务的约5.3万个逻辑推理样本。
    *   **编程竞赛:** 3万个来自在线评测平台和编程网站的算法问题。
    *   **软件工程:** 基于真实GitHub仓库问题（如SWE-bench）构建的可验证RL环境，通过沙盒执行代码并根据测试用例通过情况给予奖励。
*   **模型反馈型通用任务:**
    *   **有标准答案任务 (STEM等):** 使用生成式奖励模型 (GenRM) 进行评估。
    *   **无标准答案任务 (指令遵循、创意写作等):** 采用成对比较框架，GenRM评估模型输出与参考答案的优劣。团队特别关注并缓解了GenRM在长CoT推理中可能存在的长度偏见问题，通过在线监控和校准确保奖励的准确性。
*   **课程学习策略:** RL训练初期侧重于规则验证的推理密集型任务，然后逐步混合通用领域任务，确保模型在提升通用能力的同时，不会遗忘专业技能。

##### 扩展RL至更长思考（80K Token）
在40K Token输出长度的RL训练基础上，团队进一步将生成长度扩展至80K Token，得到了MiniMax-M1-80k。
* **数据调整:** 筛选掉40K模型已能轻松解决的样本，增加难题（如数学、编码）比例，并降低了对长上下文RL训练稳定性不利的合成推理数据。
* **长度扩展策略:** 采用分阶段窗口扩展，从40K逐步增至80K，确保每阶段训练稳定。
* **解决训练不稳定性:** 针对长序列末尾可能出现的模式崩溃问题（因负样本梯度过大导致），采用了包括重复模式检测与早停、样本级与Token级损失归一化结合、降低梯度裁剪阈值和IS权重裁剪上限等多种方法稳定训练。

#### 如何获取与使用

MiniMaxAI秉承开放精神，已将MiniMax-M1模型公开发布：
* **模型权重:** 可在 GitHub (https://github.com/MiniMax-AI/MiniMax-M1) 和 Hugging Face 获取。
* **推理框架支持:** 目前支持 vLLM 和 Transformers 框架，并提供了详细的部署指南。
* **商业API:** MiniMaxAI也在 minimax.io 上提供了商业标准API服务。

#### 总结与展望

MiniMax-M1的发布，无疑为大规模AI推理领域注入了新的活力。其创新的闪电注意力机制和高效的CISPO强化学习算法，共同实现了在百万级上下文长度和8万Token生成长度下的高效推理与训练。评测结果表明，MiniMax-M1不仅在传统强项如数学、编码上表现优异，更在软件工程、工具使用和长上下文理解等复杂场景中展现了卓越的性能，跻身全球顶尖开源模型行列。

展望未来，随着测试时计算的不断扩展以应对日益复杂的真实世界场景，像MiniMax-M1这样的高效架构在自动化企业工作流程、科学研究等领域具有巨大潜力。这些应用尤其需要LRM作为智能体与环境、工具、计算机或其他智能体交互，在数十乃至数百轮对话中整合来自不同来源的长上下文信息。我们有理由相信，MiniMax-M1将为此类应用提供独特的优势和坚实的基础。

**扩展链接:**
*   MiniMax-M1 GitHub仓库: [https://github.com/MiniMax-AI/MiniMax-M1](https://github.com/MiniMax-AI/MiniMax-M1)
*   MiniMax-M1论文原文 (通常在GitHub仓库中可以找到Arxiv链接或PDF)

MiniMax-M1发布：首个开源混合注意力推理大模型，闪电注意力加持！

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客