研究团队推出了Prefill-as-a-Service（PrFaaS），旨在解决大模型推理中的跨机房调度问题。该架构通过将Prefill计算卸载到专用集群，并利用普通以太网传输KV Cache，显著提升了吞吐量和降低了延迟。实验结果表明，PrFaaS在吞吐量上提升54%，P90延迟降低64%，有效支持长上下文场景。