研究团队推出了Prefill-as-a-Service（PrFaaS），旨在解决大模型推理中的跨机房调度问题。该架构通过将Prefill计算卸载到专用集群，并利用普通以太网传输KV Cache，显著提升了吞吐量和降低了延迟。实验结果表明，PrFaaS在吞吐量上提升54%，P90延迟降低64%，有效支持长上下文场景。

关键值缓存（KVCache）是现代大语言模型（LLM）服务的核心，存储过去的注意力状态以提高生成新标记的效率。LLM推理分为预填充和解码两个阶段。KVCache管理经历了从简单实现到2023年PagedAttention的演变，显著提升了内存利用率和并发请求能力。2024年，随着多模态模型的出现，KVCache的概念得到了进一步扩展。