本文介绍如何在PyTorch多进程推理中通过CUDA IPC共享模型权重，避免GPU显存重复占用。示例展示了使用`model.share_memory()`共享权重，以及AOTInductor通过`load_constants`绑定父进程权重的方法。文中还讨论了配置要点、TorchScript的局限及程序依赖的重复问题，旨在提升单GPU多进程推理效率。

本文介绍了如何在同一GPU上协同部署vLLM工作进程与训练执行器，适用于类RLHF应用。通过设置环境变量和使用CUDA-IPC传递张量，实现多个进程间的高效通信。