本文介绍了一种名为Krites的异步语义缓存策略，旨在提高大语言模型（LLM）的推理效率。Krites通过验证静态缓存的响应，扩大了静态覆盖范围，允许未来的请求重用经过验证的答案。实验表明，Krites在对话和搜索任务中，使用经过验证的静态答案的请求比例提高了最多3.9倍，同时保持了延迟不变。