视频生成模型的推理优化应从算子级转向计算图级，以提升整体执行效率。Self-Forcing模型采用逐块生成策略，降低计算复杂度。通过torch.compile实现整图编译，消除Graph Break，最终实现约47.6%的加速效果。

本文介绍了加速深度变换器语言模型训练的两种技术：使用torch.compile()优化模型性能，以及通过梯度累积实现更大的有效批量大小。torch.compile()提升执行速度，梯度累积通过多次前向传播减少反向传播次数，从而节省时间。

torch.compile 是 PyTorch 的即时编译器，旨在自动优化代码以提升大语言模型（LLM）的推理性能。它通过捕获张量操作生成优化内核，简化开发者的工作。vLLM 集成了 torch.compile，支持动态批量大小和自定义编译器传递，进一步提升性能。未来将改善稳定性和启动时间，推动推理性能的提升。

torch.compile()和torch.export()是基于PyTorch 2.6的工具。前者为JIT编译器，灵活处理不可追踪部分；后者为AOT编译器，捕获完整图形，适合部署。两者在图形捕获、处理不可追踪代码和输出方面存在差异。

torch.compile是PyTorch 2.0后用于加速代码的技术，通过JIT编译优化为NVIDIA内核。首次运行可能较慢，但后续会加快。它由Torch Dynamo和Torch Inductor组成，减少Python开销并优化CPU-GPU通信。