Nemotron 3 Ultra

不只是开源权重，而是把配方一起给了

Nemotron 3 Ultra 是 NVIDIA 于 2026 年 6 月 4 日发布的 Nemotron 3 系列旗舰开放模型，也是这个家族规模最大的成员：5500 亿总参数 / 550 亿激活参数的 MoE 结构。

它在一众「开放模型」里的特别之处，在于开放的彻底程度。NVIDIA 放出的不只是可以下载的权重，还包括预训练、后训练和量化三类 checkpoint、用于训练的数据集，以及完整的模型 recipe。许可证为 OpenMDW License Agreement v1.1，明确允许商业与非商业使用。对想复现训练流程、而不只是拿来推理的团队来说，这类开放度目前相当少见。

架构：把 Mamba-2 和 MoE 混在了一起

Nemotron 3 Ultra 采用 LatentMoE 混合架构，把 Mamba-2 状态空间层、MoE 层与选择性的 Attention 组件组合在一起，并加入 Multi-Token Prediction 层提升生成效率。这种混合设计的动机是在超长上下文下压低注意力开销——它支持最高 1M tokens 上下文，并提供 reasoning budget 控制，知识截止时间为 2026 年 5 月。

训练分四个阶段：约 20 万亿 tokens 的预训练（使用爬取与合成的代码、数学、科学和通用知识数据）、监督微调、多环境强化学习，以及多领域 on-policy 蒸馏。官方标注支持英语、法语、西班牙语、意大利语、德语、日语、印地语、韩语、巴西葡萄牙语和中文。

评测：一个偏科非常明显的模型

官方给出的成绩包括 SWE-Bench Verified 70.7%、LiveCodeBench 89.0%、IMO Answer Bench（带工具）92.3%、Terminal Bench 2.1 56.4%、MMLU-ProX 十语言平均 83.0%，另有第三方 LongBench v2 成绩 61.9%。

但把它放进 DataLearner 的横向榜单，会看到一个相当极端的能力分布：

• 强项——数学、知识与代码题：IMO-AnswerBench（带工具）92.30 在 23 个模型中排第 1，GPQA 87 在 16 个模型中排第 1，IF Bench 81.70 在 33 个模型中排第 2，LiveCodeBench 89 在 126 个模型中排第 9。
• 弱项——智能体与长程任务：Terminal-Bench 2.1 56.40 在 44 个模型中排第 41，BrowseComp 44.40 在 54 个模型中排第 46，LiveBench 51.78 在 115 个模型中排第 88。

这个反差对选型的指导意义很直接：它擅长「给定一道有明确答案的难题，把它算对」，而不擅长「在开放环境里连续操作很多步」。做数学、科研推理、算法题和知识密集问答是它的主场；要拿它当自主智能体的底座，则需要额外的编排和纠错机制兜底。

部署门槛不低

Hugging Face 模型卡标注 BF16 版本总参数 550B、激活 55B，官方给出的最低推荐硬件是 8 张 B200 或同等配置，多节点部署使用 Ray v2 编排，推理引擎支持 vLLM、SGLang 和 TensorRT-LLM。这基本意味着它面向的是有集群资源的研究机构与企业，而非个人本地部署——想在消费级硬件上跑，需要等社区的量化版本。

官方来源

• NVIDIA Nemotron 3 Ultra 技术报告（PDF）
• Hugging Face 模型卡与权重