torch.compile()
💡
原文韩文，约900字，阅读约需3分钟。
📝
内容提要
torch.compile是PyTorch 2.0后用于加速代码的技术，通过JIT编译优化为NVIDIA内核。首次运行可能较慢，但后续会加快。它由Torch Dynamo和Torch Inductor组成，减少Python开销并优化CPU-GPU通信。
🎯
关键要点
- torch.compile是PyTorch 2.0后用于加速代码的技术，通过JIT编译优化为NVIDIA内核。
- 首次运行可能较慢，但后续会加快，使用JIT在运行时编译并缓存字节码。
- torch.compile由Torch Dynamo和Torch Inductor两个主要组件组成。
- torch.export()用于实际编译功能，可以生成.cubin（GPU）和.so（C++）文件。
- torch.compile减少Python开销，并优化CPU-GPU之间的通信。
- torch.compile可以在函数、nn.module和嵌套（函数和模块）中使用。
➡️
