本文介绍AOTInductor(PyTorch编译器后端)如何将模型权重存储在共享库外,并在推理时线程安全地更新权重。通过设置`package_constants_in_so`为False、`freezing`为False及`always_keep_tensor_constants`为True,权重可外部保存。C++端使用`load_constants`加载权重到非活动缓冲区,再通过`swap_constant_buffer`和`free_inactive_constant_buffer`实现双缓冲安全交换,支持热更新,避免GPU内存峰值。
完成下面两步后,将自动完成登录并继续当前操作。