vLLM Blog ·

vLLM Router：一种高性能的预填充/解码感知负载均衡器，用于大规模服务

💡 原文英文，约900词，阅读约需4分钟。

📝

内容提要

vLLM Router是一种高性能负载均衡器，专为大规模vLLM服务设计。它支持智能负载均衡和预填充/解码分离，优化请求分配，提升性能。通过Kubernetes服务发现和故障容错功能，确保高可用性。与其他负载均衡器相比，vLLM Router在吞吐量和延迟方面表现优越，是生产环境中不可或缺的组件。

🎯

🔎

vLLM Router通过多种复杂的负载均衡算法，优化请求分配，尤其在处理会话型工作负载时，能够将同一用户的后续请求路由到持有其KV缓存的工作节点。这种智能路由减少了延迟，提高了系统的响应速度，适合需要高性能的生产环境。

vLLM Router支持预填充和解码的分离处理，这意味着计算密集型的预填充步骤和内存密集型的解码步骤可以由不同的专用工作组处理。这种架构不仅提高了资源利用率，还能有效管理复杂的工作流，适应大规模服务的需求。

vLLM Router内置的Kubernetes服务发现和故障容错功能，确保了在大规模环境中的高可用性。通过配置重试逻辑和电路断路器，系统能够在工作节点出现故障时迅速调整，避免了级联故障的发生，提升了整体系统的稳定性。

❓

vLLM Router是一种高性能负载均衡器，专为大规模vLLM服务设计，支持智能负载均衡和预填充/解码分离。

它通过多种复杂的负载均衡算法，智能地将请求路由到预填充和解码的专用工作组，从而优化请求分配。

vLLM Router在吞吐量和延迟方面表现优越，能够更好地处理复杂的工作流，适合生产环境。

它内置Kubernetes服务发现和故障容错功能，能够自动监控和路由请求，确保高可用性。

它支持一致性哈希、随机选择、轮询等多种负载均衡策略，以优化性能和状态亲和性。

它是实现vLLM在生产规模下高效运行的关键组件，提升了性能和操作效率。

🏷️