AOTInductor外部权重存储与权重流式更新
内容提要
本文介绍AOTInductor（PyTorch编译器后端）如何将模型权重存储在共享库外，并在推理时线程安全地更新权重。通过设置`package_constants_in_so`为False、`freezing`为False及`always_keep_tensor_constants`为True，权重可外部保存。C++端使用`load_constants`加载权重到非活动缓冲区，再通过`swap_constant_buffer`和`free_inactive_constant_buffer`实现双缓冲安全交换，支持热更新，避免GPU内存峰值。
延伸解读
配置权衡：外部存储与性能优化
将权重存储在共享库外需要关闭freezing配置，这会放弃一些推理性能优化机会，例如卷积层权重布局可能从NCHW变为NHWC以提升CUDA内存合并效率。同时，always_keep_tensor_constants设为True可防止小常量（如偏置）被折叠进计算图，确保它们可作为可更新常量暴露。开发者需在灵活更新与性能之间做出权衡。
双缓冲机制与线程安全
热更新权重时，使用load_constants将新权重加载到非活动缓冲区，然后通过swap_constant_buffer原子交换活动与非活动缓冲区，最后释放旧缓冲区。这种双缓冲设计避免了在推理过程中直接覆盖活动缓冲区，确保多线程并发推理时的一致性。文章强调，在交换后需进行设备级同步，以保证所有线程看到更新后的权重。
内存管理：H2D拷贝与峰值控制
权重初始存储在主机内存，通过allow_h2d_copy=True直接拷贝到GPU非活动缓冲区，避免额外GPU内存副本。若权重已在GPU上，可设置user_managed=True让引擎直接使用，否则会形成三重缓冲，导致GPU峰值内存过高，尤其对大模型可能无法承受。合理选择这些参数有助于控制内存占用。
Q&A
如何将AOTInductor模型权重存储在共享库外部？
在编译AOTInductor模型时，需要设置`aot_inductor.package_constants_in_so`为False，同时设置`always_keep_tensor_constants`为True以确保小常量（如偏置）不被折叠进图，并设置`freezing`为False以允许权重更新。这样权重会保存在pt2文件中，而不是so文件内。
为什么在AOTInductor中要设置`freezing`为False？
设置`freezing`为False是为了允许模型常量在推理时被更新。如果设置为True，常量会被冻结为模型属性，并且布局可能被改变为更高效的推理布局（如卷积权重从NCHW变为NHWC），导致无法更新。
AOTInductor中`always_keep_tensor_constants`的作用是什么？
该配置确保所有张量常量（包括小常量如偏置）都被保留为可更新的常量，而不是被折叠进计算图中。如果不设置，小常量可能被优化掉，无法在运行时更新。
如何在C++端安全地更新AOTInductor模型的权重？
在C++端，使用`load_constants`将新权重加载到非活动缓冲区（use_inactive=true），然后调用`swap_constant_buffer`原子地交换活动和非活动缓冲区，最后调用`free_inactive_constant_buffer`释放旧缓冲区。这样可以避免在推理时直接修改活动缓冲区，实现线程安全的热更新。
为什么在加载权重时使用`load_constants`而不是`update_constant_buffer`？
因为`load_constants`能够将常量的全限定名（如“fc.weight”）转换为引擎内部的mangled名称，而`update_constant_buffer`需要直接使用内部名称，使用起来更复杂且容易出错。
在AOTInductor中，`allow_h2d_copy`参数的作用是什么？
当权重存储在主机内存（CPU）时，设置`allow_h2d_copy=true`允许引擎直接从主机内存复制到GPU缓冲区，避免额外的GPU内存副本。如果权重已在GPU上，可以设置`user_managed=true`让引擎直接使用该缓冲区，避免复制。
AOTInductor权重更新时，为什么需要设备级同步？
因为H2D复制是异步的，且可能有多个runner或流共享常量缓冲区，设备级同步（如`torch::cuda::synchronize()`）确保复制完成后再进行推理，避免数据竞争。
