陈少文的博客
·
阿里云 eRDMA 测试及 PD 分离应用部署
💡
原文中文，约8500字，阅读约需21分钟。
📝
内容提要
在PD分离部署中，异构显卡会增加跨机通信压力。通过RDMA设备加速kvcache传输，降低FTTL。安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。性能测试显示eRDMA速度接近25.0 Gbps。配置和测试过程包括安装工具、查看设备信息及启动容器环境。
🎯
关键要点
- PD分离部署中，异构显卡增加跨机通信压力。
- 使用RDMA设备加速kvcache传输以降低FTTL。
- 安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。
- eRDMA速度接近25.0 Gbps，卡数越多速度越快。
- 性能测试显示实际测速为3GB/s，与标称速度接近。
- 查看设备信息和状态以确认配置正确。
- 安装perftest工具进行性能测试，包括测速和测延时。
- 部署eRDMA exporter以图形化查看性能。
- 在PD应用测试中，挂载模型并启动vLLM容器环境。
- 启动Proxy服务以验证推理，prefill节点发送数据，decoder节点接收数据。
❓
延伸问答
PD分离部署中异构显卡的影响是什么？
异构显卡会增加跨机通信压力。
如何加速kvcache传输以降低FTTL？
可以通过使用RDMA设备来加速kvcache传输。
eRDMA的速度是多少？
eRDMA的速度接近25.0 Gbps，实际测速为3GB/s。
如何安装eRDMA驱动？
可以通过apt-get命令安装驱动，并根据系统版本执行相应的安装步骤。
eRDMA支持哪些驱动模式？
eRDMA支持标准模式和兼容模式，兼容模式支持更多应用。
如何进行eRDMA的性能测试？
可以使用perftest工具进行测速和测延时，分别在Server和Client端执行相应命令。
➡️
