小红花·文摘

AOTInductor支持输入张量的原地修改，通过显式使用如`x.mul_(2)`的原地操作，经`torch.export`导出和分解后，输入修改会被记录在`user_inputs_to_mutate`中，编译后的引擎能高效执行原地修改，避免复制大张量。相比之下，修改注册缓冲区可能导致多线程安全问题，因此推荐使用输入修改方式。

AOTInductor输入修改

Lei Mao's Log Book ·

AOTInductor支持对输入张量进行原地修改优化。通过在模型中显式使用原地操作（如x.mul_(2)）或自定义Triton内核并标记mutates_args，经torch.export导出和分解后，输入修改会被记录在user_inputs_to_mutate中，AOTInductor据此生成高效引擎。此方法比修改注册缓冲区更线程安全，避免多线程共享状态问题。

本文介绍AOTInductor（PyTorch编译器后端）如何将模型权重存储在共享库外，并在推理时线程安全地更新权重。通过设置`package_constants_in_so`为False、`freezing`为False及`always_keep_tensor_constants`为True，权重可外部保存。C++端使用`load_constants`加载权重到非活动缓冲区，再通过`swap_constant_buffer`和`free_inactive_constant_buffer`实现双缓冲安全交换，支持热更新，避免GPU内存峰值。