使用Torch Inductor进行推理的经验教训

本文介绍了Torch Inductor编译模型的基本知识和最佳实践。

Torch Inductor通过即时编译优化PyTorch模型，支持动态形状和多后端选择。

Torch Inductor的缺点包括无法保存优化模型和推理启动慢。

AOTInductor可提前编译，显著降低延迟。

建议使用torch.Tensor类型作为输入，简化前向传递逻辑，以提高编译效率。

torch.compile()的优点在于易用性，适合初学者使用。

即时编译的优点包括更宽容的编译、动态形状支持和与权重解耦。

缺点包括无法保存优化模型、推理启动慢和重编译引入延迟。

AOTInductor通过追踪Python代码并生成Torch FX图来实现提前编译。

使用AOTInductor可以显著降低推理延迟，并支持自动化构建流程。

最佳实践包括仅使用torch.Tensor类型作为输入，避免使用可选参数和复杂的Python代码。

前向传递应为纯函数，避免状态改变和复杂分支。

使用包分发服务来分发编译后的工件，并使用绝对路径写出编译工件。

测试编译模型的数值差异，并在编译时开启跟踪日志以了解编译决策。

使用带调试器的IDE来处理编译错误，便于追踪问题。