陈少文的博客
·
阿里云 eRDMA 测试及 PD 分离应用部署
内容提要
在PD分离部署中，异构显卡会增加跨机通信压力。通过RDMA设备加速kvcache传输，降低FTTL。安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。性能测试显示eRDMA速度接近25.0 Gbps。配置和测试过程包括安装工具、查看设备信息及启动容器环境。
关键要点
-
PD分离部署中，异构显卡增加跨机通信压力。
-
使用RDMA设备加速kvcache传输以降低FTTL。
-
安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。
-
eRDMA速度接近25.0 Gbps，卡数越多速度越快。
-
性能测试显示实际测速为3GB/s，与标称速度接近。
-
查看设备信息和状态以确认配置正确。
-
安装perftest工具进行性能测试，包括测速和测延时。
-
部署eRDMA exporter以图形化查看性能。
-
在PD应用测试中，挂载模型并启动vLLM容器环境。
-
启动Proxy服务以验证推理，prefill节点发送数据，decoder节点接收数据。
延伸解读
异构显卡的挑战与解决方案
在PD分离部署中，使用异构显卡会显著增加跨机通信的压力。为了应对这一挑战，采用RDMA设备加速kvcache传输，可以有效降低FTTL，从而提升整体性能。这种技术的应用对于需要高效数据传输的场景尤为重要，尤其是在大规模模型部署时。
驱动模式选择的重要性
eRDMA提供标准模式和兼容模式两种驱动安装选项。标准模式适合于特定的RDMA应用，而兼容模式则支持更多应用场景，如TensorFlow等。在选择驱动模式时，用户需根据实际应用需求进行合理选择，以避免连接错误和性能瓶颈。
性能测试的必要性
在部署eRDMA后，进行性能测试是确保系统正常运行的关键步骤。通过使用perftest工具，可以有效测量带宽和延迟，确保实际性能接近标称值。定期的性能监测有助于及时发现潜在问题，优化系统配置，提升整体效率。
延伸问答
PD分离部署中异构显卡的影响是什么？
异构显卡会增加跨机通信压力。
如何加速kvcache传输以降低FTTL？
可以通过使用RDMA设备来加速kvcache传输。
eRDMA的速度是多少？
eRDMA的速度接近25.0 Gbps，实际测速为3GB/s。
如何安装eRDMA驱动？
可以通过apt-get命令安装驱动，并根据系统版本执行相应的安装步骤。
eRDMA支持哪些驱动模式？
eRDMA支持标准模式和兼容模式，兼容模式支持更多应用。
如何进行eRDMA的性能测试？
可以使用perftest工具进行测速和测延时，分别在Server和Client端执行相应命令。
