過去的幾年里，PyTorch從1.0到1.13進行了創(chuàng)新和迭代，12月2日，PyTorch 2.0正式發(fā)布。與前輩們相比，PyTorch 2.0提供了相同的eager mode和用戶體驗，同時通過torch.compile增加了一個編譯模式，可以在不更改模型代碼的情況下對模型進行加速，從而提供更佳的性能和對Dynamic Shapes及分布式運行的支持。經(jīng)測試，使用2.0可以將訓(xùn)練速度提高38-76%。

由于torch.compile是一個可選特性，因此PyTorch 2.0是完全向后兼容的。此外，2.0系列還會將PyTorch的部分代碼從C++移回Python。PyTorch團隊表示，PyTorch 2.0是他們向2.x系列邁出的第一步，穩(wěn)定版預(yù)計在2023年3月初發(fā)布。

我們的科技留言板“有意見”如下

@碼頭詩人：AI模型編譯速度的提升意味著在實際應(yīng)用項目又可以節(jié)省不少計算資源，能夠進一步推動AI降本，推動人工智能在產(chǎn)業(yè)中加速普。實際上，國內(nèi)科技公司也都在開源領(lǐng)域、在機器學(xué)習(xí)方面投入大量資源搞研發(fā)，這也是當(dāng)下一個頗具潛力的技術(shù)高地。

@東北路飛劉海柱：PyTorch2.0把2000個算子用250個基礎(chǔ)算子實現(xiàn)，如果想要提升性能，可以針對Aten的750+算子進行融合優(yōu)化，更加生態(tài)環(huán)保，也能讓廠商對接更加方便。

@算子：PyTorch 2.0最大的更新就是這個torch.compile。好奇編譯加速能否良好的支持fsdp的加入？畢竟torch的fsdp不算是一個成熟的算子，而且支持這個事的工作量應(yīng)該是巨大的。