模型不能停，阿里又又又又要开源新模型：Qwen3-Next-80B-A3B
1,260 views
继阿里刚发布Qwen3-ASR模型之后，Qwen团队又在社区提交了全新的Qwen3-Next代码。这意味着阿里即将开源Qwen3家族的新成员。这个模型最大的特点是架构变化很大，与此前Qwen系列很不一样。
加载中...
加载中...
继阿里刚发布Qwen3-ASR模型之后，Qwen团队又在社区提交了全新的Qwen3-Next代码。这意味着阿里即将开源Qwen3家族的新成员。这个模型最大的特点是架构变化很大，与此前Qwen系列很不一样。
Follow DataLearner WeChat for the latest AI updates
根据提交内容显示，即将发布的模型命名为 Qwen3-Next-80B-A3B。该模型采用极为稀疏的混合专家架构（MoE），总参数量达到 800 亿，但每次推理仅激活 30 亿 参数，实现了极高的计算效率。
根据阿里提交的文件显示，Qwen3-Next系列是阿里下一代基础模型，其核心设计目标是实现极致的上下文长度和超大规模参数下的高效能。
The Qwen3-Next series represents our next-generation foundation models, optimized for extreme context length and large-scale parameter efficiency.
此外，这份文本还显示这个MoE的激活比例为1：50，大概率意味着总共有50个专家，每次激活1个，那么一个专家的参数量约为16亿，再加上共享的注意力/嵌入等，每次激活30亿参数是合理的。
1:50 的激活比例在当前主流大模型中极为罕见，属于非常激进的设计策略，显示出阿里在推理效率优化方面的技术信心。
尽管目前没有具体的Qwen3-Next-80B-A3B模型的评测数据，但是阿里特别提到Qwen3-Next-80B-A3B与Qwen3-32B模型的对比，有3大优势：
阿里特别强调“extreme context length”和长文本下的吞吐量提升，说明Qwen团队很有信心认为Qwen3-Next在架构上可以更好地提升性能和处理更长的上下文。
相比较当前Qwen3架构，Qwen3-Next的主要技术架构创新包括：
此前的Qwen3系列模型的激活参数比大约是1:10，而Qwen3-Next达到了1:50，十分激进。高稀疏度意味着模型需要更精准的“路由算法”来决定调用哪个专家，否则性能会下降。阿里显然在路由策略上取得了突破。
传统Transformer处理长文本时（比如一本书），需要计算每个字与其他所有字的关联（注意力），计算量随文本长度平方增长，又慢又耗资源。Qwen3-Next引入了两种新机制：
这是对Transformer核心组件的重构，而非小修小补。SSM（状态空间模型）是近年来挑战Transformer的重要方向（如Mamba模型），阿里将其与传统注意力融合，属于 Hybrid 架构的领先实践。说明阿里没有完全押注一个架构，而是通过混合方案平衡效率和性能，更务实也更具扩展性。
Qwen3-Next采用了MTP（Multi-Token Prediction）技术。传统语言模型像“单字打字机”，每次只预测下一个字（token），之后再把生成的字作为输入继续预测，容易出错且效率低。MTP技术让模型在预训练时就练习“一次写多个字”，同时预测后续多个token。这样模型学会了更好的语言规划和长程逻辑，输出更连贯，训练效率也更高。
这是对经典“下一token预测”训练范式的突破，DeepSeek V3 也采用了类似技术，可能成为下一代预训练的标准配置。
阿里将Qwen3-Next称为一个“系列”（series），并强调其代表了一套统一的“架构创新套件”（suite of architectural innovations），而不是单一模型。这意味着Qwen3-Next将是一个系列多个模型，而不仅仅是即将开源的Qwen3-Next-80B-A3B。
原文明确说“replaces standard attention”（取代标准注意力）并引入了“suite of architectural innovations”（一套架构创新）。这不仅仅是微调或改进，而是对Transformer核心组件的替换和重构。它的发布意味着阿里通义千问正在进行一次激进的架构切换，旨在通过一套统一的、高效的、可扩展的混合技术栈，来打造整个下一代模型家族，从而在技术路线和生态竞争上同时取得领先优势。
该系列的发布，将有望在长上下文处理、训练与推理成本、扩展性等多个关键维度树立新的竞争标准，进一步强化阿里在开源大模型领域的领先地位，十分期待它的正式发布。
关于Qwen3-Next-80B-A3B未来的开源地址和其它参数信息，可以关注DataLearnerAI的Qwen3-Next-80B-A3B模型信息卡：https://www.datalearner.com/ai-models/pretrained-models/Qwen3-Next-80B-A3B