vLLM Blog
·
超越移植：vLLM如何在AMD ROCm上协调高性能推理
💡
原文英文，约3100词，阅读约需11分钟。
📝
内容提要
vLLM在AMD ROCm上提供七种高性能推理后端，支持复杂模型结构。ROCM_AITER_FA通过三路径路由优化混合工作负载，显著提高吞吐量，性能提升达到2.7-4.4倍，确保软件与硬件高效协作，适应多样化请求。
🎯
关键要点
- vLLM在AMD ROCm上提供七种高性能推理后端，支持复杂模型结构。
- ROCM_AITER_FA通过三路径路由优化混合工作负载，显著提高吞吐量，性能提升达到2.7-4.4倍。
- ROCM_AITER_FA的三路径路由将请求动态分类为解码、预填充和扩展路径，每个路径都有优化的内核。
- ROCM_AITER_FA的批处理重排序确保每个内核路径在连续的令牌上操作，消除冗余的KV缓存获取。
- AITER MLA后端通过共享的汇编解码内核实现了1.2-1.6倍的速度提升，优化了内存带宽的使用。
- vLLM的调度和AMD的AITER原语的协作是性能提升的关键，单独的优化无法达到最佳效果。
❓
延伸问答
vLLM在AMD ROCm上提供了哪些推理后端？
vLLM在AMD ROCm上提供七种高性能推理后端，支持复杂模型结构。
ROCM_AITER_FA是如何优化混合工作负载的？
ROCM_AITER_FA通过三路径路由将请求动态分类为解码、预填充和扩展路径，每个路径都有优化的内核，从而优化混合工作负载。
使用vLLM时，如何选择最佳的推理后端？
推荐使用命令'export VLLM_ROCM_USE_AITER=1'，让vLLM自动选择最佳的推理后端。
ROCM_AITER_FA的性能提升有多大？
ROCM_AITER_FA的性能提升达到2.7-4.4倍，显著提高了吞吐量。
ROCM_AITER_FA的三路径路由有什么优势？
三路径路由使得每种请求类型都能通过专门优化的内核处理，提高了性能和可调试性。
AITER MLA后端的速度提升是多少？
AITER MLA后端通过共享的汇编解码内核实现了1.2-1.6倍的速度提升。
➡️
