vLLM 是加速大语言模型推理的框架，通过高效KV缓存管理减少内存浪费。文章提供Helm图表部署配置，并演示解耦预填充示例：启动预填充和解码两个实例，通过代理服务器传输KV缓存，实现请求处理，包含安装依赖、启动服务及测试请求的完整流程。