陈少文的博客
·
使用 lmcache 能显著改善模型推理的 TTFT
💡
原文中文，约11500字，阅读约需28分钟。
📝
内容提要
LMCache 是一个开源项目，通过缓存 KV Cache 来降低模型生成第一个 token 的时间（TTFT），支持多种存储后端（内存、磁盘、Redis）。测试表明，使用 LMCache 后，TTFT 平均降低约 42%。
🎯
关键要点
- LMCache 是一个开源项目，旨在通过缓存 KV Cache 降低模型生成第一个 token 的时间（TTFT）。
- TTFT 是指从请求发出到模型生成第一个 token 的时间，主要由于 Prefill 阶段的计算导致。
- LMCache 支持多种存储后端，包括内存、磁盘、Redis 等。
- 使用 LMCache 后，TTFT 平均降低约 42%。
- LMCache 提供了计算 KV Cache 大小的工具，存储开销较大。
- 在内存缓存测试中，第一次测试的 TTFT 平均为 66.56ms，第二次为 38.53ms。
- 在磁盘缓存测试中，第一次测试的 TTFT 平均为 65.63ms，第二次为 37.53ms。
- 在 Redis 缓存测试中，第一次测试的 TTFT 平均为 68.37ms，第二次为 34.24ms。
- LMCache 提供了多种缓存淘汰策略，但在生产环境中通常需要配合大容量存储后端。
❓
延伸问答
LMCache 是什么？
LMCache 是一个开源项目，旨在通过缓存 KV Cache 降低模型生成第一个 token 的时间（TTFT）。
TTFT 是什么？
TTFT 是指从请求发出到模型生成第一个 token 的时间，主要由于 Prefill 阶段的计算导致。
使用 LMCache 后 TTFT 的改善效果如何？
使用 LMCache 后，TTFT 平均降低约 42%。
LMCache 支持哪些存储后端？
LMCache 支持多种存储后端，包括内存、磁盘、Redis 等。
LMCache 如何计算 KV Cache 大小？
LMCache 提供了计算 KV Cache 大小的工具，以 4k 中文估算，2k token 需要 106 MB 的 KV Cache。
LMCache 提供了哪些缓存淘汰策略？
LMCache 提供了 LRU、FIFO、LFU、MRU 等缓存淘汰策略。
➡️
