LMCache 是一个开源项目，通过缓存 KV Cache 来降低模型生成第一个 token 的时间（TTFT），支持多种存储后端（内存、磁盘、Redis）。测试表明，使用 LMCache 后，TTFT 平均降低约 42%。

vLLM 是一款加速大语言模型推理的框架，解决了内存管理瓶颈，并支持 KV 缓存。文章介绍了如何使用 vLLM 和 LMCache 进行预填充和解码，包括环境变量设置和示例代码。

vLLM 是一款加速大语言模型推理的框架，解决了内存管理瓶颈，实现了几乎零浪费的 KV 缓存。该框架支持 CPU 卸载和 LMCache，并提供示例代码和配置说明，方便用户进行实验和开发。