大语言模型的隐私感知语义缓存
原文中文，约400字，阅读约需1分钟。发表于：。MeanCache 是一种用于 LLM 的语义缓存，通过识别语义相似的查询来确定缓存是否命中，降低了计算成本，服务提供者负载和环境影响，同时使用联邦学习在各个用户之间进行分布式训练查询相似性模型，不违反隐私。与 GPTCache 相比，MeanCache 在语义缓存命中与未命中的决策中取得了大约 17% 的 F - 得分增加和 20% 的精确度增加，并且在减少存储需求方面有了 83%...
MeanCache是一种用于LLM的语义缓存，通过识别语义相似的查询来确定缓存是否命中，降低计算成本和负载。使用联邦学习进行分布式训练查询相似性模型，不违反隐私。与GPTCache相比，MeanCache在命中与未命中的决策中有17%的F-得分增加和20%的精确度增加，存储需求减少83%，决策加速11%。
