在LLM推理集群中，KV缓存的存储预算影响命中率和预填充吞吐量。合理配置KV缓存容量可避免资源浪费和过早驱逐可重用条目。KVCache命中率模拟器帮助用户优化缓存配置。分析显示，随着缓存容量增加，命中率和预填充速度的提升逐渐减小，建议采用分层缓存策略以提高性价比。