明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI
时隔仅3个月，PyTorch再次迎来升级——1.9版本。
这一次，官方把重头戏放在了移动端上。
不仅Mobile Interpreter发布了新版本，而且TorchVision库也支持在手机上使用了，iOS、Android都支持！
网友看了都表示：
这一次更新中，我对移动端最感兴趣。
而此次1.9版本集合了自2021年3月1.8版本发布以来，超过3400次GitHub提交。
除了移动设备端方面，还有其他诸多亮点：
前端API改进（包括torch.linalg、torch.special和 Complex Autograd）
实现对弹性、容错分布式训练的本地支持
更新PyTorch模型性能分析器
LeCun也在Twitter上站台，称赞PyTorch做的一次比一次好！
首先就是PyTorch Mobile最受欢迎的功能之一Mobile Interpreter更新了。
最新版本能够将移动设备上的二进制文件大小降低到原来大小的一半以下。
比如，在arm64-v8a架构的Android设备中使用MobileNetV2的pt大小，压缩前为17.8MB、压缩后为8.6MB。
而使用新版Mobile Interpreter后，可以把压缩前的文件大小降低到8MB以下，压缩后的大小降低到4MB以下。
与此同时，从1.9版本开始，用户可以在iOS、Android的APP上使用TorchVision库了。
在iOS上，它需要和主要的PyTorch库链接在一起使用；在Android上，则可作为gradle依赖项添加。
在demo APP方面，这一次更新了一个新的基于PyTorch Video库的视频APP和一个基于最新torchaudio,、wave2vec模型的语音识别APP。
有了这两个APP后，PyTorch现在可以提供图像、文字、音频和视频在内的一整套demo APP。
1.9版本中，对torch.linalg、torch.special和Complex Autograd等模块进行了完善。
torch.linalg模块现在可以实现NumPy线性代数模块中的每个函数；
Complex Autograd更新的新功能，可以计算复杂梯度、优化损失函数。
此外，为了帮助调试和编写可重现的程序，PyTorch 1.9增加了一个torch.use_determinstic_algorithms选项。
这是为了避免运行中可能会出现的错误，如下所示：
TorchElastic是PyTorch的一个核心功能，它能够让用户在抢占式实例上运行分布式训练。
△TorchElastic运行原理
新版本中，添加了一个基于c10d::Store的“独立”集合点，能够在本地支持弹性、容错分布式训练。
此外，现在还可在RPC中支持CUDA，并支持对分布式训练进行分析等。
PyTorch Profiler是用来对PyTorch模型性能分析的一个工具。
通过可视化页面来帮助我们分析具体运行情况。
在1.9版本中，可以在Windows和Mac中支持新的torch.profiler API了。
新的API支持现有分析器功能，可以与CUPTI库集成（仅限Linux），追踪设备上的CUDA内核，并为长期运行项目提供支持，例如：
PyTorch Profiler Tensorboard插件还更新了带有NCCL的分布式训练摘要视图、内存分析视图、从Microsoft VSCode启动时可跳转到源代码等新功能。
热门跟贴