小红花·文摘

PromptCache是一个用Go编写的LLM语义缓存网关，通过向量相似度双阈值判定（高阈值直接命中、低阈值未命中、灰区用廉价模型仲裁）缓存重复请求，支持OpenAI兼容接口、多提供商热切换和持久化存储。它降低token成本和延迟，但存在语义误判、忽略上下文、多租户隔离不足及暴力扫描性能瓶颈等风险。