Articles tagged "PyTorch"

大模型的发展一个重要的基础条件是底层硬件计算能力的大幅提高，特别是GPU的发展，与transformer架构的大模型训练非常契合。当前全球最大的GPU供应商英伟达系列的显卡几乎垄断了大模型训练与推理的所有GPU芯片市场。除了英伟达显卡本身算力强悍外，基于英伟达GPU之上构建的CUDA、PyTorch等平台软件生态也是非常重要的一环。而最新的PyTorch2.1版本发布的一个beta特性中包含了对华为昇腾芯片的原生支持，这也是大模型生态多样性发展的一个很重要的信号。

2022年的PyTorch Conference在新奥尔良举办。刚刚会上的keynote官宣PyTorch2.0版本即将到来。PyTorch是目前最流行的深度学习框架之一，它的易用性被广大的用户所喜爱。关于PyTorch2.0，官方透露了一些值得期待的特性。

为了提高AI模型的推理速度，降低在不同GPU硬件部署的成本，Meta AI研究人员在昨天发布了一个全新的AI推理引擎AITemplate（AIT），该引擎是一个Python框架，它在各种广泛使用的人工智能模型（如卷积神经网络、变换器和扩散器）上提供接近硬件原生的Tensor Core（英伟达GPU）和Matrix Core（AMD GPU）性能。

MetaAI在2天前刚发布了一个最新的Text-to-Video模型，让生成模型从逼真的图片生成往前推进到视频生成。当然，官方还是希望将其当作一种SaaS服务提供。但是，才2天，业界基于论文的开源PyTorch实现就已经准备公开，且获得了569个Star！卷到家了！

昨天，Meta的Zuckerberg宣布，将PyTorch由Meta AI移交给Linux Foundation托管。这意味着PyTorch从今天起从Meta独立，并作为Linux Foundation下的一个项目。

PyTorch最新的1.12版本已经在前天发布。而其中TorchVision是基于PyTorch框架开发的面向CV解决方案的一个PyThon库，其最主要的特点是包含了很多流行的数据集、模型架构以及预训练模型等。本次也随着PyTorch1.12的发布更新到了v0.13。此次发布包含几个非常好的提升，值得大家关注。

自从苹果发布M1系列的自研芯片开始，基于ARM架构的电脑处理器开始大放异彩。而强大的M1芯片的能力也让很多Mac用户高兴很久。而就在现在，M1也开始支持PyTorch的深度学习框架了。PyTorch官网刚刚宣布，经过和Apple的Metal工程师队伍的合作，PyTorch支持Mac的GPU加速了。

Tensorflow和PyTorch是深度学习最流行的两个框架，二者都有坚定的支持者。一般认为由于Google的支持，TensorFlow的社区支持比较好，在工业应用广泛。但是尽管有keras加持，但易用性方面依然被认为不如PyTorch。而后者最早由Facebook人工智能团队开发。由于其易用性，被认为在科学研究中有广泛使用。那么，最近几年二者发展如何，是否实际还如之前的观点一样，这里AssemblyAI的一个作者做了一些对比。

卷积操作的维度计算是定义神经网络结构的重要问题，在使用如PyTorch、Tensorflow等深度学习框架搭建神经网络的时候，对每一层输入的维度和输出的维度都必须计算准确，否则容易出错，这里将详细说明相关的维度计算。