本文介绍了并行轨道变换器（PT变换器），一种新型架构，旨在减少多GPU推理中的同步操作。与传统张量并行方法相比，PT变换器在保持模型质量的同时，减少了高达16倍的同步操作。该方法已集成到Tensor-RT-LLM和vLLM中，显著提高了服务效率，包括首次令牌响应时间减少15-30%、每个输出令牌时间减少2-12%以及吞吐量提高31.90%。