华为大模型生态重要一步！PyTorch最新2.1版本宣布支持华为昇腾芯片（HUAWEI Ascend）

大模型的发展一个重要的基础条件是底层硬件计算能力的大幅提高，特别是GPU的发展，与transformer架构的大模型训练非常契合。当前全球最大的GPU供应商英伟达系列的显卡几乎垄断了大模型训练与推理的所有GPU芯片市场。除了英伟达显卡本身算力强悍外，基于英伟达GPU之上构建的CUDA、PyTorch等平台软件生态也是非常重要的一环。而最新的PyTorch2.1版本发布的一个beta特性中包含了对华为昇腾芯片的支持，这也是大模型生态多样性发展的一个很重要的信号。

PyTorch 2.1对华为昇腾芯片NPU的支持

在2023年10月4日PyTorch 2.1版本的发布博客上，PyTorch介绍的beta版本新特性上有一个特性是提高了第三方设备的支持，并说明了华为Ascend NPU（昇腾NPU芯片）的OSS小组已经成功将torch_npu整合进入PyTorch。而该特性属于PyTorch的PRIVATEUSE1的功能。

PyTorch的PRIVATEUSE1特性简介

PRIVATEUSE1特性是PyTorch中的引入新特新，主要目标是让PyTorch可以使用更多的硬件。体现了该框架在适应不断变化的硬件和计算环境方面的努力。