文章探讨多副本vLLM部署中KV Cache的复用问题：单实例APC仅能本地复用缓存，多副本需路由配合。llm-d Router通过近似前缀记录、评分与选点，将请求优先发往可能已有缓存的实例。实验对比随机路由与前缀感知路由，后者使后续请求100%回到原副本，前缀命中率由56.56%升至99.60%，Prefill token均值由2261.5降至21.0，TTFT P95由2018ms降至159.2ms。