如何使用vLLM扩展AI代理的LLM推理
内容提要
本教程介绍如何使用vLLM扩展AI代理的LLM推理。文章解释了LLM推理的预填充和解码阶段，以及AI代理工作负载为何难以服务。vLLM通过连续批处理、PagedAttention和前缀缓存优化并发推理。教程演示了在本地安装vLLM、启动服务器，并通过OpenAI兼容API连接AI代理的步骤，最后讨论了这些优化技术的重要性及适用场景。
延伸解读
AI代理推理瓶颈的根源
文章指出，单个用户请求可能触发10到30次独立的LLM调用，包括规划、工具选择、总结、重试等。当用户数量增加时，推理层迅速成为瓶颈。理解这一点有助于开发者认识到，优化推理层比单纯优化代理逻辑更为关键。
vLLM优化的核心机制
vLLM通过连续批处理、PagedAttention和前缀缓存提升并发推理效率。连续批处理允许新请求在旧请求完成后立即加入，避免GPU空闲；PagedAttention通过分块管理KV缓存减少内存碎片；前缀缓存则复用共享提示词前缀，减少重复计算。这些机制共同提高了吞吐量。
KV缓存的内存开销估算
文章给出了KV缓存内存的粗略估算公式：2×层数×KV头数×头维度×字节数。以32层、8个KV头、头维度128、FP16为例，每token约需128KB。这意味着长上下文会显著增加GPU内存压力，理解这一点有助于合理设置模型上下文长度。
适用场景与局限
vLLM适合自托管开源模型、多用户并发、高吞吐需求以及代理、聊天机器人或RAG系统。但对于单用户、轻量级原型，简单的本地模型运行器可能已足够。文章强调，实际性能提升需要通过并发负载测试来验证，而非仅依赖本地示例。
Q&A
vLLM是什么？它如何帮助扩展AI代理的LLM推理？
vLLM是一个开源的推理运行时和服务引擎，专为大型语言模型设计。它通过连续批处理、PagedAttention和前缀缓存等优化技术，提高了并发推理的吞吐量和GPU利用率，从而帮助扩展AI代理的LLM推理。
LLM推理中的prefill和decode阶段有什么区别？
prefill阶段处理输入提示中的所有token，由于可以并行处理，因此计算密集；decode阶段逐个生成输出token，每个新token依赖于之前的token，因此是顺序的。长输入使prefill更昂贵，长输出使decode更昂贵。
为什么AI代理的工作负载难以服务？
因为一个用户请求可能触发多次模型调用（如规划、工具选择、总结等），导致请求数量激增；同时请求长度和响应长度不均匀，造成动态负载，给GPU调度和内存带来压力。
vLLM的连续批处理是如何工作的？
连续批处理允许在请求完成时立即用新请求填充空位，而不是等待整个批次完成。例如，如果请求B提前完成，请求C可以在下一个解码步骤加入，从而保持GPU忙碌，提高吞吐量。
PagedAttention如何优化KV缓存内存管理？
PagedAttention将KV缓存存储在固定大小的块中，而不是要求每个序列占用连续的内存区域。这减少了内存碎片，并允许释放的块被其他请求重用，从而提高了内存利用率，支持更多并发请求。
前缀缓存（Prefix Caching）在什么场景下最有效？
前缀缓存在请求共享长前缀时最有效，例如AI代理使用相同的系统提示、工具定义或对话历史。它通过重用KV缓存块减少重复计算，但不会加速新输出token的生成。
如何安装并启动vLLM服务器？
在Apple Silicon上，可以使用vLLM-Metal插件安装：运行`curl -fsSL https://raw.githubusercontent.com/vllm-project/vllm-metal/main/install.sh | bash`，然后激活虚拟环境并安装openai包。启动服务器使用命令：`vllm serve mlx-community/Qwen2.5-0.5B-Instruct-4bit --host 127.0.0.1 --port 8000`。
如何将AI代理连接到vLLM服务器？
由于vLLM提供OpenAI兼容API，可以使用OpenAI Python客户端，设置base_url为`http://localhost:8000/v1`，api_key为任意值（如"NA"），然后调用`client.chat.completions.create`发送请求。
vLLM适合在什么情况下使用？
vLLM适合自托管开源模型、服务多个并发用户、需要更高推理吞吐量、运行频繁调用模型的代理/聊天机器人/RAG系统，以及希望使用OpenAI兼容API的场景。对于单用户轻量原型，简单的本地模型运行器可能就足够了。
