Redis Blog
·
什么是提示缓存？大型语言模型的速度与成本指南
内容提要
构建大型语言模型时，延迟和成本问题普遍存在。通过提示缓存，可以存储计算状态，减少冗余计算，从而降低响应时间和输入成本。提示缓存通过匹配前缀优化请求，结合Redis等工具可实现更高效的缓存策略，提升性能并降低费用。
关键要点
-
构建大型语言模型时，延迟和成本问题普遍存在。
-
提示缓存可以存储计算状态，减少冗余计算，降低响应时间和输入成本。
-
提示缓存通过匹配前缀优化请求，提升性能并降低费用。
-
每个LLM请求经历两个延迟阶段：首次令牌时间（TTFT）和最后令牌时间（TTLT）。
-
长系统提示会增加TTFT，导致成本上升。
-
提示缓存存储LLM的注意力层中的键值缓存条目，避免重复计算。
-
主要约束是前缀匹配，缓存的前缀与新提示完全相同时，模型重用缓存计算。
-
不同的LLM提供商对提示缓存的处理方式不同，提供不同的缓存折扣。
-
提示缓存可以显著提高性能，降低输入令牌成本，尤其是对于长提示。
-
提示缓存与常规缓存和语义缓存不同，三者应结合使用以提高效率。
-
提示缓存适用于结构化提示，稳定内容在前，变化内容在后。
-
在检索增强生成（RAG）设置中，提示缓存效果显著。
-
监测缓存破坏模式，避免动态内容影响缓存命中率。
-
结合提示缓存与语义缓存可以覆盖更广泛的流量，提升性能。
-
分层缓存架构解决不同的成本和延迟问题，适用于各种查询模式。
延伸问答
提示缓存如何降低大型语言模型的延迟和成本？
提示缓存通过存储计算状态，减少冗余计算，从而降低响应时间和输入成本。
大型语言模型的请求延迟分为哪两个阶段？
请求延迟分为首次令牌时间（TTFT）和最后令牌时间（TTLT）。
提示缓存与常规缓存和语义缓存有什么不同？
提示缓存在模型层工作，减少冗余预填计算，而常规缓存和语义缓存则在响应层面处理请求，前者存储完整响应，后者通过向量相似度匹配返回响应。
如何优化提示缓存的命中率？
通过将稳定内容放在前面、变化内容放在后面，可以提高提示缓存的命中率。
提示缓存适用于哪些场景？
提示缓存适用于结构化提示、检索增强生成（RAG）设置和多轮聊天机器人等场景。
使用提示缓存时需要注意哪些反模式？
需要注意时间戳、会话标识符和用户特定信息等动态内容，这些可能会破坏缓存命中率。
