本文讨论LLM推理延迟的复杂性，指出其分为首字延迟、总响应时间和代理全链路时间等指标，受队列、防护、冷启动及RAG检索影响。优化需按场景选择指标：聊天重首字，代理重总耗时，批处理重成本。语义缓存可跳过模型调用，显著降延迟和成本，Redis Iris等工具支持此优化。