Redis Blog
·
什么是提示缓存？大型语言模型的速度与成本指南
内容提要
构建大型语言模型时，延迟和成本问题普遍存在。通过提示缓存，可以存储计算状态，减少冗余计算，从而降低响应时间和输入成本。提示缓存通过匹配前缀优化请求，结合Redis等工具可实现更高效的缓存策略，提升性能并降低费用。
关键要点
-
构建大型语言模型时，延迟和成本问题普遍存在。
-
提示缓存可以存储计算状态，减少冗余计算，降低响应时间和输入成本。
-
提示缓存通过匹配前缀优化请求，提升性能并降低费用。
-
每个LLM请求经历两个延迟阶段：首次令牌时间（TTFT）和最后令牌时间（TTLT）。
-
长系统提示会增加TTFT，导致成本上升。
-
提示缓存存储LLM的注意力层中的键值缓存条目，避免重复计算。
-
主要约束是前缀匹配，缓存的前缀与新提示完全相同时，模型重用缓存计算。
-
不同的LLM提供商对提示缓存的处理方式不同，提供不同的缓存折扣。
-
提示缓存可以显著提高性能，降低输入令牌成本，尤其是对于长提示。
-
提示缓存与常规缓存和语义缓存不同，三者应结合使用以提高效率。
-
提示缓存适用于结构化提示，稳定内容在前，变化内容在后。
-
在检索增强生成（RAG）设置中，提示缓存效果显著。
-
监测缓存破坏模式，避免动态内容影响缓存命中率。
-
结合提示缓存与语义缓存可以覆盖更广泛的流量，提升性能。
-
分层缓存架构解决不同的成本和延迟问题，适用于各种查询模式。
延伸问答
提示缓存如何降低大型语言模型的响应时间？
提示缓存通过存储计算状态，避免重复计算，从而减少首次令牌时间（TTFT），降低响应时间。
使用提示缓存有什么成本优势？
提示缓存可以显著降低输入令牌成本，尤其是在长提示的情况下，减少冗余计算带来的费用。
提示缓存与常规缓存和语义缓存有什么区别？
提示缓存专注于模型层的计算优化，而常规缓存和语义缓存则分别处理精确匹配和语义相似性，三者应结合使用以提高效率。
如何有效地构建提示以提高缓存命中率？
应将稳定内容放在前面，变化内容放在后面，以增加缓存命中率，常见的顺序包括工具定义、系统提示和用户查询。
在检索增强生成（RAG）设置中，提示缓存的效果如何？
在RAG设置中，提示缓存可以显著提高性能，尤其是当多个用户查询相同知识库时，减少冗余计算。
提示缓存的主要限制是什么？
提示缓存的主要限制是前缀匹配，只有当缓存的前缀与新提示完全相同时，模型才能重用缓存计算。
