本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用write-back策略在GPU、DRAM、SSD间分层存储；集群层面用一致性哈希实现缓存亲和，并按请求类别分配预算以应对长请求突发。