华为开源2个Pangu大模型：分别是MoE架构，720亿总参数，160亿激活参数的Pangu Pro MoE以及Pangu Embedded，评测结果略超同级别的Qwen3

盘古大模型是华为自研的大语言模型，基于华为的硬件和技术栈进行训练。此前一直被认为是国产技术占比很高的国产大模型。今天，华为开源了2个盘古大模型，分别是MoE架构的Pangu Pro MoE模型以及70亿参数规模的Pangu Embedded模型。

<center>![](https://www.datalearner.com/resources/blog_images/b0ce3dfd-637c-48e4-bfb4-6b20b7d122d0.webp)</center>
<center></center>

这两个模型均是大语言模型，前者是MoE架构的大模型，后者是一个稠密的70亿参数大模型，虽然叫Embedded但是是推理大语言模型。

[TOC]

## Pangu Pro MoE模型简介
华为开源的Pangu Pro MoE模型的总参数量是720亿，每次推理激活165亿。Pangu Pro MoE架构是一种混合分组专家架构，并不是传统的MoE方法。即华为将64个路由专家分8组，每次推理的时候从每组专辑中激活1个专家。而不是所有的专家随机选择。

该模型在13万亿数据上进行预训练得到，此表大小为15万个，经过了预训练和后训练阶段。模型的具体参数：

| 模型参数项 | 模型参数结果 |
| :--- | :--- |
| 词汇表大小 | 153376 |
| 隐藏层大小 | 5120 |
| Intermediate Size | 1344 |
| Query Heads | 40 |
| KV Heads | 8 |
| Head Size | 128 |
| 总层数 | 48 |
| 路由专家数量 | 64 |
| 激活专家数量 | 8 |
| 共享专家数量 | 4 |
| 每次推理激活参数量 | 165亿|
| 总参数量| 719.9 亿|

官方的论文说Pangu Pro MoE模型预训练阶段分为3个阶段，通用阶段9.6万亿数据训练，推理阶段3万亿数据训练，退火阶段0.4万亿数据训练（大模型退火是一种高级的训练技巧，它通过在训练过程中模拟物理退火“先升温、后缓降”的模式来动态调整学习率，让模型先大胆探索、再精细收敛，从而帮助模型逃离局部最优解，找到性能更好的全局最优解或接近全局最优的解）。

## Pangu Embedded模型简介
Pangu Embedded 是一款专为昇腾（Ascend）NPU 设计的高效大语言模型（LLM）推理器。它的核心目标是解决当前先进推理模型普遍存在的计算成本高、推理延迟长等问题，引入了灵活的“快思慢想”能力。

记住，**虽然Pangu Embedded这个模型的名字叫Pangu Embedded，但是这不是一个向量大模型，而是一个70亿参数规模的大语言模型**。这是也给非MoE架构的稠密模型。

这个模型最大的特点是有类似Qwen3那种快慢思考结合的能力。在复杂场景下，通过生成推理思维链来提高模型的效果。这种快慢模式的切换提供了手动和自动的方式。模型内置了一个复杂度感知机制。当接收到一个查询时，它会首先快速评估这个问题的难度。

## Pangu模型的评测结果：略超同级别最好的模型
华为也公布了这两个Pangu模型在同级别模型上的评测结果。就评测结果本身来看，同级别竞争上，Pangu模型的能力是可以的。

首先是720亿参数规模的模型对比：

<center>[![](https://www.datalearner.com/resources/blog_images/46cea230-9e0a-45ec-b8f0-1793b90e1a35.webp)](https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=15,16,32,37,42,36,40&modelInputString=607,566,530,604)</center>
<center>Pangu Pro MoE模型与其它模型的性能对比结果：https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=15,16,32,37,42,36,40&modelInputString=607,566,530,604</center>
<center></center>

从同级别的这几个测试来看（其它测试和模型数据暂无，所以只是参考）：
- **综合能力最强**：从数据上看，Pangu在知识、推理、数学、代码四大领域都名列前茅，但是与Qwen3-32B比略低一丢丢。
- **高阶推理能力突出**：**Pangu Pro MoE在GPQA Diamond评测上得分非常高，73.1，甚至略超DeepSeek-R1，比Qwen3-32B也高很多**。GPQA是衡量大模型深度推理和领域专业知识问题的评测基准。
- **知识体系完善**：在MMLU和MMLU Pro上的领先优势，证明了其训练数据的广度和质量，使其成为一个可靠的知识问答引擎。不过，这两个评测结果目前区分度已经不那么大了。

70亿参数的Pangu Embedded模型测试结果也非常不错：

<center>[![Pangu Embedded模型和其它7B规模模型对比](https://www.datalearner.com/resources/blog_images/2769bf6a-6889-4295-952a-a81d6a1cf3f6.webp "Pangu Embedded模型和其它7B规模模型对比")](https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=16,17,36,41,37,40&modelInputString=608,561,438,531,549 "Pangu Embedded模型和其它7B规模模型对比")</center>
<center>数据来源：https://www.datalearner.com/ai-models/ai-benchmarks-tests/compare-result?benchmarkInputString=16,17,36,41,37,40&modelInputString=608,561,438,531,549</center>
<center></center>

几乎相比同级别模型都好，甚至高于Qwen3-8B的水平。

## Pangu模型开源协议：免费商用授权可用，但禁止在欧盟使用
与腾讯开源的Hunyuan-A13B-Instruct类似（参考：https://www.datalearner.com/ai-models/pretrained-models/Hunyuan-A13B-Instruct ），华为开源的Pangu模型支持免费商用授权，但是**开源协议中禁止在欧盟地区使用**。这大概是欧盟非常严格的数据和AI相关的规定。

## Pangu开源大模型总结
总的来说，华为此次开源的2个Pangu大模型十分有诚意。从参数规模上来说，算是一个不那么大但是效果还不错的模型。重要的是，这2个模型应该是全部以国产技术栈完成的。这意味着，最坏的情况下，大模型的技术发展也许可以独立自主继续。

华为开源2个Pangu大模型：分别是MoE架构，720亿总参数，160亿激活参数的Pangu Pro MoE以及Pangu Embedded，评测结果略超同级别的Qwen3

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客