提示缓存通过重用已计算的KV状态来节省成本和降低延迟。现代推理引擎在单个副本中自动处理缓存，但在多个副本中缓存命中率降低。使用会话亲和性可以确保请求路由到同一副本，从而提高缓存利用率。理想的架构是共享缓存，但实现难度较大。目前团队应关注会话亲和性和良好的提示结构，以优化性能。