学习让我快乐
·
PD 分离中的 kvcache 传输优化
内容提要
随着PD分离系统的推广，kvcache传输影响了用户体验。通过采用nccl和改进发送行为，传输性能显著提升，提升幅度达到42.90%。
关键要点
-
PD分离系统推广后，kvcache传输影响用户体验。
-
P节点的attention tp大于D节点，导致kvcache传输性能问题。
-
优化RDMA传输性能的首选是nccl。
-
通过优化发送行为，传输性能提升3.62倍。
-
在小包场景中，减少cqe生成，改变发送行为以提高效率。
-
进一步剥离传输链路开销，传输性能提升7.19倍。
-
增加发送使用的qp数量，最终提升传输性能42.90%。
延伸解读
kvcache传输的挑战与解决方案
在PD分离系统中，kvcache传输的性能问题主要源于P节点和D节点之间的注意力差异。通过优化RDMA传输，尤其是采用nccl和改进发送行为，显著提升了传输效率。这表明在面对类似问题时，优化传输链路和发送策略是关键。
小包场景下的优化策略
在小包传输场景中，频繁的cqe生成会导致软件栈开销增加。通过批量提交ibv_send_wr并仅在最后一个包上使用IBV_SEND_SIGNALED标记，可以有效减少开销。这种策略在小包场景中尤为重要，值得其他系统借鉴。
传输性能提升的潜力
通过剥离传输链路的非必要开销，传输性能提升了7.19%。这表明在优化过程中，关注底层接口的使用和资源配置可以带来显著的性能提升。增加发送使用的qp数量也能进一步提高性能，显示出系统优化的多样性。
延伸问答
PD分离系统中kvcache传输的主要问题是什么？
主要问题是P节点的attention tp大于D节点，导致kvcache传输性能下降。
如何优化PD分离中的kvcache传输性能？
通过采用nccl和优化发送行为，可以显著提升传输性能。
使用nccl进行RDMA传输的优势是什么？
nccl是优化RDMA传输性能的首选，能够提高传输效率和正确性。
在小包场景中，如何提高kvcache传输效率？
通过减少cqe生成和改变发送行为，可以提高小包场景下的传输效率。
传输链路剥离开销后，性能提升了多少？
剥离传输链路开销后，传输性能提升了7.19倍。
增加发送使用的qp数量对传输性能的影响是什么？
增加qp数量后，传输性能提升了42.90%。
