小型语言模型在企业应用中迅速发展，但GPU计算和内存带宽常常闲置。NVIDIA的多进程服务（MPS）允许多个推理进程共享GPU，显著提高小模型的吞吐量，尤其在短上下文中。然而，对于大模型和长上下文，MPS的优势减小。在CPU瓶颈情况下，MPS仍能有效利用GPU时间，但增加了操作复杂性。