阿里云 eRDMA 测试及 PD 分离应用部署
💡
原文中文，约8500字，阅读约需21分钟。
📝
内容提要
在PD分离部署中，异构显卡会增加跨机通信压力。通过RDMA设备加速kvcache传输，降低FTTL。安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。性能测试显示eRDMA速度接近25.0 Gbps。配置和测试过程包括安装工具、查看设备信息及启动容器环境。
🎯
关键要点
- PD分离部署中，异构显卡增加跨机通信压力。
- 使用RDMA设备加速kvcache传输以降低FTTL。
- 安装驱动后可选择标准或兼容模式，兼容模式支持更多应用。
- eRDMA速度接近25.0 Gbps，卡数越多速度越快。
- 性能测试显示实际测速为3GB/s，与标称速度接近。
- 查看设备信息和状态以确认配置正确。
- 安装perftest工具进行性能测试，包括测速和测延时。
- 部署eRDMA exporter以图形化查看性能。
- 在PD应用测试中，挂载模型并启动vLLM容器环境。
- 启动Proxy服务以验证推理，prefill节点发送数据，decoder节点接收数据。
