本文介绍了IBM研究、红帽和AMD团队开发的vLLM Triton注意力后端，旨在实现跨GPU平台的高性能。Triton是一种特定领域语言，支持用Python编写高效的GPU内核，兼容多种模型和硬件。通过优化内核设计和微基准测试，Triton后端在AMD、NVIDIA和Intel平台上表现优异，成为默认的注意力后端。

OpenBMB推出的MiniCPM-o-4.5模型仅用9B参数实现全模态能力，强调跨模态对齐与推理效率，适合主流GPU部署，具备高性能与轻量化优势。

处理部分构建KV缓存请求的额外提示侧令牌，关注缓存上下文与新输入，属于混合工作负载。在线服务中，调度程序利用此阶段将长提示工作分解，并与其他请求的解码交错，以提高延迟和吞吐量的整体平衡。

为解决多模型AI服务的闲置GPU成本问题，我们与vLLM社区合作开发了Multi-LoRA技术，允许多个模型共享同一GPU，优化MoE模型的推理性能。该技术通过保持原始权重不变，仅调整小型适配器，显著提升了输出速度并降低了延迟，适用于多个开源MoE模型，并已在Amazon SageMaker和Bedrock上实现。

vLLM团队在NVIDIA GB200平台上优化性能，实现26.2K预填TPGS和10.1K解码TPGS，较H200提升3-5倍。通过低精度操作、内核融合和权重卸载等技术，显著提升计算效率和带宽利用率。

我们正在构建混合模型（MoM）系统，以提升大型语言模型（LLM）的集体智能。核心问题包括捕捉请求与响应信号、优化模型协作和确保系统安全。通过vLLM语义路由器，我们展示了在AMD GPU上实时路由查询的能力，支持多种模型和信号类型。MoM架构通过智能调度和能力匹配，实现高效的AI部署。

vLLM 0.11.0引入KV缓存卸载功能，将缓存转移至CPU内存（DRAM），提升推理吞吐量。通过缓存KV值，降低计算需求，改善请求延迟和每节点吞吐量。新API支持异步加载和存储KV数据，优化GPU与CPU间的数据传输，显著提升性能。

vLLM语义路由器v0.1（代号Iris）是一个智能路由平台，连接用户与多种AI模型。它通过信号捕捉和智能决策优化模型选择与安全过滤，支持无限扩展，性能显著提升，并具备实时幻觉检测功能，简化用户体验。