本教程介绍如何使用vLLM扩展AI代理的LLM推理。文章解释了LLM推理的预填充和解码阶段，以及AI代理工作负载为何难以服务。vLLM通过连续批处理、PagedAttention和前缀缓存优化并发推理。教程演示了在本地安装vLLM、启动服务器，并通过OpenAI兼容API连接AI代理的步骤，最后讨论了这些优化技术的重要性及适用场景。

静态批处理等待批次满后才运行，延迟高；动态批处理通过超时窗口改善等待，但批次内仍受最慢请求影响；连续批处理以解码步骤为单位调度，序列完成即释放槽位，吞吐量高，适合生产级LLM服务。