学习让我快乐
·
PD 分离中的 GDR
内容提要
本文探讨了基于vllm实现的PD分离方案，重点分析了GDR（GPU-Direct RDMA）的细节及其对解码延迟的影响。实验结果表明，GDR对解码延迟几乎没有影响，且该方案对vllm的引入性低，几乎不需改动现有设施。
关键要点
-
本文基于vllm实现了PD分离方案，设计思路与Nvidia Dynamo相似。
-
D节点决策模块负责确定请求在P实例上完成，并通过GDR直接写入kvcache。
-
GDR对解码延迟几乎没有影响，且方案对vllm的引入性低，几乎不需改动现有设施。
-
实验结果表明，GDR RDMA Write流量与压测qps关系不大，decode latency的相对值变化很小。
-
使用阿里云ERDMA进行测试，结果显示GDR对解码延迟的影响微乎其微。
延伸解读
GDR的优势与应用
GDR（GPU-Direct RDMA）在PD分离方案中展现出显著的优势，尤其是在解码延迟方面几乎没有影响。这意味着在高性能计算和深度学习应用中，GDR可以有效地提升数据传输效率，而无需对现有设施进行大规模改动，降低了实施成本和复杂性。
实验结果的启示
实验结果表明，GDR RDMA Write流量与压测qps之间的关系不大，解码延迟的相对变化也很小。这提示我们在设计高效的计算架构时，可以更关注流量管理和任务调度，而非单纯依赖带宽的提升。
对现有设施的兼容性
该方案对vllm的引入性低，几乎不需改动现有设施，这为企业在升级技术时提供了便利。企业可以在不影响现有系统稳定性的情况下，逐步引入新技术，降低了技术更新的风险。
延伸问答
PD分离方案是如何实现的？
PD分离方案基于vllm实现，设计思路与Nvidia Dynamo相似，通过D节点决策模块确定请求在P实例上完成，并使用GDR直接写入kvcache。
GDR对解码延迟的影响如何？
实验结果表明，GDR对解码延迟几乎没有影响，decode latency的相对值变化很小。
使用GDR的优势是什么？
使用GDR的优势在于其对vllm的引入性低，几乎不需改动现有设施，同时对解码延迟影响微乎其微。
实验中使用了什么测试工具？
实验中使用了阿里云ERDMA进行测试，以评估GDR对解码延迟的影响。
GDR RDMA Write流量与压测qps的关系如何？
GDR RDMA Write流量与压测qps关系不大，因为流量主要与Prefill的chunked prefill batched token数目有关。
D节点在处理请求时的决策过程是怎样的？
D节点通过决策模块确定请求在P实例上完成，并分配kvcache block，然后调用P实例进行prefill。
