PyTorch 2.0发布——一个更快、更加Pythonic和灵活的PyTorch版本,让Tranformer运行更快!
在去年12月2日的PyTorch大会上(参考链接:重磅!PyTorch官宣2.0版本即将发布,最新torch.compile特性说明!),PyTorch官方宣布2.0版本即将到来,而今天,PyTorch2.0的稳定版正式发布!本篇博客将主要关注PyTorch 2.0最主要的特性!

一、PyTorch 2.0概述
PyTorch 2.0是PyTorch的下一代版本,提供了兼容前期版本的的eager模式的开发和用户体验,同时在编译器级别上改变和加强了PyTorch的运行方式,具有更快的性能、对动态形状和分布式的支持。PyTorch 2.0发布了包括PyTorch Transformer API的新的高性能实现(以前称为“Better Transformer API”,现在更名为Accelerated PyTorch 2 Transformers)以提升对多种深度学习模型架构的支持。2.0版本的PyTorch最大的特点是有非常明显的速度方面的提升。
下面我们将介绍其中最重要的几个更新。

